[논문 리뷰] SensorX2car: Sensors-to-car calibration for autonomous driving in road scenarios

Guohang Yan, Zhaotong Luo외 2명|arXiv (Cornell University)|2023. 01. 18.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

SensorX2car는 자율주행 차량에서 차체 기준으로 카메라, 라이다, GNSS/INS, 밀리미터웨이브 레이더를 정밀하게 校정할 수 있는 최초의 오픈소스 도구상자를 제공한다. 이 도구상자는 이미지 특징, 3D 점, 자세 해법, 레이더 속도 등의 센서별 패턴을 사용하여 정상 주행 중 몇 분 내로도 하위 도자이브 정확도를 달성한다.

ABSTRACT

Properly-calibrated sensors are the prerequisite for a dependable autonomous driving system. However, most prior methods focus on extrinsic calibration between sensors, and few focus on the misalignment between the sensors and the vehicle coordinate system. Existing targetless approaches rely on specific prior knowledge, such as driving routes and road features, to handle this misalignment. This work removes these limitations and proposes more general calibration methods for four commonly used sensors: Camera, LiDAR, GNSS/INS, and millimeter-wave Radar. By utilizing sensor-specific patterns: image feature, 3D LiDAR points, GNSS/INS solved pose, and radar speed, we design four corresponding methods to mainly calibrate the rotation from sensor to car during normal driving within minutes, composing a toolbox named SensorX2car. Real-world and simulated experiments demonstrate the practicality of our proposed methods. Meanwhile, the related codes have been open-sourced to benefit the community. To the best of our knowledge, SensorX2car is the first open-source sensor-to-car calibration toolbox. The code is available at https://github.com/OpenCalib/SensorX2car.

연구 동기 및 목표

• 실생활 주행 환경에서 센서-차체 외부 파rameter, 특히 자세(회전)에 대한 일반적인 온라인 교정 방법의 부족을 해결한다.
• 특정 도로 특징, 차선 마킹 또는 통제된 환경에 의존하는 이전 방법의 한계를 극복한다.
• 특수 마커나 시설이 필요 없이 다양한 주행 노선에서 작동하는 실용적이고 접근 가능한 교정 솔루션을 개발한다.
• 정상 운전 중에 수집된 데이터만으로 카메라, 라이다, GNSS/INS, 레이더의 네 가지 핵심 센서를 신뢰성 있고 반복 가능한 방식으로 교정할 수 있도록 한다.
• 자율주행 차량 센서 교정 분야의 커뮤니티 도입과 향후 연구를 지원하기 위해 오픈소스 도구상자를 제공한다.

제안 방법

• 카메라 교정을 위해 단일 이미지에서 퇴적점과 수평선을 예측하는 딥러닝 네트워크를 사용하여 차체 기준으로 롤, 피치, 양자각도로 변환한다.
• 라이다의 경우 SLAM을 통해 6-DoF 자세를 추정하고, 차량 전방 방향과 라이다 전방 방향 간의 양자각도 차이를 평균하여 자세를 교정하며, 지면 평면 추출을 통해 피치 및 롤을 유도한다.
• GNSS/INS의 경우 통합된 6-DoF 자세를 사용하여 차량 기준으로 양자각도를 추정하며, 차량 궤적과 헤딩 방향이 일치한다고 가정한다.
• 레이더의 경우, 측정된 물체 속도와 차량 속도 간의 관계에 코사인 곡선을 피팅하여 양자각도를 교정하며, 위치 정보를 통합하여 노이즈를 감소시켜 강건성을 향상시킨다.
• 시간이 지남에 따라 데이터를 누적하고 이상치를 필터링하여, 특히 회전 운동에 영향을 받는 롤 및 피치 각도의 일관성을 향상시킨다.
• 궤적 기반 가정을 적용하여 차량-세계 자세를 추정하고, 센서-세계 자세 회전을 센서-차체 자세 회전으로 변환한다.

실험 결과

연구 질문

• RQ1 차선 마킹이나 인공 마커와 같은 특정 도로 특징에 의존하지 않고도 센서-차체 교정을 수행할 수 있는가?
• RQ2 카메라, 라이다, GNSS/INS, 레이더에 대한 온라인 교정 방법을 센서 고유의 패턴과 정상 주행 데이터만으로 설계할 수 있는가?
• RQ3 실생활 주행 데이터에서 센서 고유의 신호 특성에 기반해 자세 파rameter(양자, 피치, 롤)를 얼마나 정확하게 추정할 수 있는가?
• RQ4 다양한 주행 조건과 노선에서 교정 결과의 일관성과 강건성은 어떠한가?
• RQ5 실생활 자율주행 시스템에서 다양한 센서 유형에 대해 통합된 오픈소스 도구상자를 구축할 수 있는가?

주요 결과

• 카메라 교정 방법은 KITTI 기반 데이터셋으로 훈련된 딥러닝 모델을 사용하여 롤, 피치, 양자각도 추정에서 하위 도자이브 정확도를 달성했으며, 양자각도와 피치의 표준편차는 각각 0.1°, 롤은 0.5°였다.
• 라이다 교정은 모든 주행 세그먼트에서 약 0.1°의 양자각도 및 피치 표준편차를 기록했으며, 직선 주행 세그먼트에서는 0.1°로 감소했고, 도랑에서 차량 기울기로 인해 롤 표준편차는 0.5°였다.
• GNSS/INS 교정 결과는 시퀀스 전반에 걸쳐 약 0.1°에서 0.2°의 양자각도 변동 범위를 보였으며, 차량과 IMU의 양자각도 간 추세가 일치하는 것으로 확인되었다.
• 시뮬레이션 데이터를 사용한 레이더 교정은 절대 오차가 0.1° 이하였고, 실세계 데이터는 위치 정보를 통합한 후 직선 주행 세그먼트에서 0.3–0.4°의 변동 범위로 노이즈가 감소하였다.
• 네 개의 데이터 기간 동안의 총 교정 일관성은 표준편차 및 분포 분석을 통해 검증되었으며, 강건성과 신뢰성을 확인하였다.
• https://github.com/OpenCalib/SensorX2car 에서 공개된 오픈소스 도구상자 SensorX2car는 노선 또는 특징 제약 없이 다양한 주행 시나리오에서 실용적이고 일반적인 교정을 가능하게 한다.