[논문 리뷰] Automatic generation of ground truth for the evaluation of obstacle detection and tracking techniques

Hatem Hajri, Emmanuel Doucet외 4명|arXiv (Cornell University)|2018. 07. 16.

Autonomous Vehicle Technology and Safety참고 문헌 8인용 수 3

한 줄 요약

이 논문은 자율주행에서 장애물 탐지 및 추적을 위한 고정밀 기준 운동 데이터를 수동 애너테이션 없이 자동으로 생성하는 새로운 방법을 제시한다. RTK-GNSS와 IMU를 탑재한 자동차 플랫폼을 활용하여, 자동차 기준 프레임에서 상대 위치, 속도, 야워 각도를 계산함으로써 위치 오차의 제곱근 평균 제곱오차(RMSE)는 ≤0.12 m 이하, 속도 오차는 ≤0.30 m/s 이하를 달성한다.

ABSTRACT

As automated vehicles are getting closer to becoming a reality, it will become mandatory to be able to characterise the performance of their obstacle detection systems. This validation process requires large amounts of ground-truth data, which is currently generated by manually annotation. In this paper, we propose a novel methodology to generate ground-truth kinematics datasets for specific objects in real-world scenes. Our procedure requires no annotation whatsoever, human intervention being limited to sensors calibration. We present the recording platform which was exploited to acquire the reference data and a detailed and thorough analytical study of the propagation of errors in our procedure. This allows us to provide detailed precision metrics for each and every data item in our datasets. Finally some visualisations of the acquired data are given.

연구 동기 및 목표

• 기준 운동 데이터 생성에서 수동 애너테이션을 제거하기 위해.
• 실제 차량 플랫폼을 활용한 스케일러블하고 자동화된 정밀 운동 데이터 생성 방법을 개발하기 위해.
• 기준 데이터 생성 과정에서의 오차 전파를 정량화하고 경계를 설정하여 신뢰성 확보를 위해.
• LiDAR 클러스터링 및 센서 융합과 같은 인식 알고리즘의 평가 및 벤치마킹을 지원하기 위해.
• 더 나은 추적 성능를 위해 실제 데이터 기반 정확한 동적 운동 모델 학습을 가능하게 하기 위해.

제안 방법

• 자기 차량(감지 센서: LiDAR, 카메라, RADAR 포함)과 고정밀 위치 측정 전용 타겟 차량을 포함한 두 대 이상의 차량을 활용한다.
• RTK-GNSS와 고급 IMU를 사용하여 센티미터 수준의 정밀 위치 측정을 수행하며, 칼만 필터를 통한 융합을 통해 차량 상태 및 오차 보정을 추정한다.
• 분산된 차량 간의 정밀한 시간 동기화 방법을 적용하여 밀리초 수준의 시계 동기화를 확보한다.
• 상대 운동 방정식을 활용하여 자동차 기준 프레임에서 타겟 차량의 상대 운동학적 특성(위치, 속도, 야워)을 계산한다.
• 오차 전파 모델을 기반으로 위치 및 속도 공분산 행렬에 대한 분석적 상한선을 유도한다.
• 정확한 에프레미스 데이터 및 스무딩 처리를 통한 후처리를 적용하여 추가로 위치 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 애너테이션 또는 인간 레이블 없이 장애물 탐지 및 추적에 대한 기준 데이터를 생성할 수 있는가?
• RQ2 다중 차량 RTK-GNSS 및 IMU 시스템을 활용할 때 자동 생성된 기준 데이터의 최대 달성 정밀도는 얼마인가?
• RQ3 위치 측정 및 시간 동기화 오차가 기준 데이터 정확도에 어떻게 영향을 미치는가?
• RQ4 이 방법이 LiDAR 클러스터링 및 센서 융합과 같은 인식 알고리즘의 평가 및 향상에 어느 정도 기여할 수 있는가?
• RQ5 생성된 기준 데이터를 활용해 기존의 정해진 모델보다 더 정확한 동적 운동 모델을 학습시킬 수 있는가?

주요 결과

• 생성된 기준 데이터에서 위치 오차의 제곱근 평균 제곱오차(RMSE)는 ≤0.12 m 이하, 속도 오차는 ≤0.30 m/s 이하를 달성한다.
• 극단적인 상대 거리(50 m), 속도(36 m/s), 야워 속도(1 rad/s) 조건을 기반으로 분석적 오차 경계를 유도하여 보수적인 추정을 보장한다.
• 60초 간 GNSS 장애 발생 시, 수평 위치 오차는 0.10 m, 고도 오차는 0.07 m로 증가하나도 안정성을 입증한다.
• 이 방법은 센서 캘리브레이션과 데이터 융합 외에 수동 애너테이션 없이 기준 데이터를 자동 생성할 수 있다.
• 기준 데이터는 LiDAR 클러스터링, 센서 융합(LiDAR-Radar-Camera), 동적 모델 학습 평가를 지원한다.
• 이 접근법은 자율주행 인식 시스템을 위한 확장 가능하고 반복 가능하며 정밀한 벤치마킹 프레임워크를 제공한다.