[논문 리뷰] Spatio-Temporal Multisensor Calibration Based on Gaussian Processes Moving Object Tracking

Juraj Peršić, Luka Petrović외 2명|arXiv (Cornell University)|2019. 04. 08.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 10

한 줄 요약

이 논문은 움직이는 물체의 가우시안 프로세스(GP) 추정 궤적을 사용하여 시공간 다중센서 캘리브레이션 방법을 제안한다. 이는 시간 지연과 외부 파rameter를 동시에 추정한다. 시간 지연 추정을 위해 좌표 프레임에 불변인 속도 크기를 활용하고, 이후 3차원 점 대응 정렬을 통해, 샘플링 간격의 ±3% 이내의 정확도로 시간 지연 추정(하나의 샘플링 주기 이내)과 0.1° 이내의 각도 오차 및 3 mm 이내의 변위 오차를 갖는 외부 캘리브레이션을 달성한다. 시뮬레이션 및 카메라와 동작 캡처 시스템을 사용한 실제 실험에서 검증되었다.

ABSTRACT

Perception is one of the key abilities of autonomous mobile robotic systems, which often relies on fusion of heterogeneous sensors. Although this heterogeneity presents a challenge for sensor calibration, it is also the main prospect for reliability and robustness of autonomous systems. In this paper, we propose a method for multisensor calibration based on Gaussian processes (GPs) estimated moving object trajectories, resulting with temporal and extrinsic parameters. The appealing properties of the proposed temporal calibration method are: coordinate frame invariance, thus avoiding prior extrinsic calibration, theoretically grounded batch state estimation and interpolation using GPs, computational efficiency with O(n) complexity, leveraging data already available in autonomous robot platforms, and the end result enabling 3D point-to-point extrinsic multisensor calibration. The proposed method is validated both in simulations and real-world experiments. For real-world experiment we evaluated the method on two multisensor systems: an externally triggered stereo camera, thus having temporal ground truth readily available, and a heterogeneous combination of a camera and motion capture system. The results show that the estimated time delays are accurate up to a fraction of the fastest sensor sampling time.

연구 동기 및 목표

• 자율 로봇에서 사전 외부 캘리브레이션 없이 이질적인 다중센서 시스템을 캘리브레이션하는 문제를 해결하기 위해.
• 좌표 프레임 변환에 불변인 속도 크기 궤적을 사용하여, 오직 이를 통해 정확한 시간 캘리브레이션을 가능하게 하기 위해.
• GP 기반 궤적 보간과 대응 매칭을 통해 시간 지연과 외부 파rameter를 동시에 추정하기 위해.
• 외부 촉발 카메라와 카메라-운동 캡처 시스템을 포함한 다양한 센서 설정에서 시뮬레이션 및 실제 환경에서 방법을 검증하기 위해.
• 실시간 또는 실시간에 가까운 응용에 적합한 O(n) 복잡도를 갖는 확장성과 계산 효율성 확보하기 위해.

제안 방법

• 이 방법은 이종적이고 노이즈가 있는 센서 측정치로부터 연속 시간 궤적을 모델링하기 위해 가우시안 프로세스 회귀를 사용한다.
• 각 센서에서 얻은 GP-추정 궤적에서 속도 크기 프로파일을 추출하여 좌표 프레임에 불변인 시간 지연 추정을 가능하게 한다.
• 시간 지연은 부드러움 우선순위를 갖는 배치 최적화 프레임워크를 사용하여 속도 크기 궤적을 정렬함으로써 추정된다.
• 시간 지연 추정 이후, 정렬된 타임스탬프에서 궤적을 보간하여 3차원 점 대응을 생성하고, 이를 통해 외부 파ram터(회전 및 이동)를 추정한다.
• 추가 캘리브레이션 하드웨어나 타겟이 필요 없이 자율 시스템의 기존 센서 데이터를 활용한다.
• 최적화는 Ceres 솔버를 사용하며, GP가 생성한 대응을 기반으로 초기화되어 약 6회 반복 내에 수렴한다.

실험 결과

연구 질문

• RQ1 사전 외부 캘리브레이션 없이 오직 속도 크기 궤적만을 사용하여 시간 지연 추정이 가능한가?
• RQ2 비동기적이고 노이즈가 있는 센서 데이터 상황에서 GP 기반 연속 시간 궤적 모델링을 통해 시간 지연을 얼마나 정확하게 추정할 수 있는가?
• RQ3 제안된 방법이 최신 기술 대비 시간 캘리브레이션 및 외부 캘리브레이션 정확도에서 얼마나 향상되는가?
• RQ4 실시간 응용에 적합한 실시간 성능과 확장성은 어떠한가?
• RQ5 특수 하드웨어나 타겟이 필요 없이 다양한 센서 조합(예: 카메라와 운동 캡처 시스템)에 적용 가능한가?

주요 결과

• 시뮬레이션에서 시간 지연 추정의 평균 오차는 -1.06×10⁻⁵ s이며, 표준편차는 7.67×10⁻⁷ s로, 밀리초 이내의 정확도를 보였다.
• 외부 촉발 스테레오 카메라를 사용한 실제 실험에서, 추정된 시간 지연은 가장 빠른 센서의 샘플링 간격의 일부분 이내로 정확하였다.
• 카메라-운동 캡처 시스템 설정에서, 최대 각도 편차 0.065° 및 평균에서 3 mm 이내의 이동 오차를 기록하며 시간 지연과 외부 파ram터를 성공적으로 추정하였다.
• 시뮬레이션 결과에서 추정된 외부 파ram터의 올리어 각도 편차 최대 0.1° 및 이동 오차 최대 3 mm를 기록하였다.
• 총 캘리브레이션 시간은 궤적 데이터 1분당 평균 94 ms였으며, GP 회귀에 49 ms, 최적화에 45 ms가 소요되어 O(n) 확장성을 입증하였다.
• 두 가지 최신 기술 대비 시간 캘리브레이션 및 외부 캘리브레이션 정확도에서 모두 우수한 성능을 보이며, 방법의 강건성과 신뢰성을 확인하였다.