[논문 리뷰] A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors

Tong Qin, Jie Pan외 2명|arXiv (Cornell University)|2019. 01. 11.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 296

한 줄 요약

실시간 성능으로 로컬 오도메트리를 위한 융합 가능한 센서 구성을 가능하게 하여, 포즈 그래프의 잔차 요소로 다중 센서 유형(비전 및 관성)을 융합하는 일반적인 최적화 기반 프레임워크를 제안한다.

ABSTRACT

Nowadays, more and more sensors are equipped on robots to increase robustness and autonomous ability. We have seen various sensor suites equipped on different platforms, such as stereo cameras on ground vehicles, a monocular camera with an IMU (Inertial Measurement Unit) on mobile phones, and stereo cameras with an IMU on aerial robots. Although many algorithms for state estimation have been proposed in the past, they are usually applied to a single sensor or a specific sensor suite. Few of them can be employed with multiple sensor choices. In this paper, we proposed a general optimization-based framework for odometry estimation, which supports multiple sensor sets. Every sensor is treated as a general factor in our framework. Factors which share common state variables are summed together to build the optimization problem. We further demonstrate the generality with visual and inertial sensors, which form three sensor suites (stereo cameras, a monocular camera with an IMU, and stereo cameras with an IMU). We validate the performance of our system on public datasets and through real-world experiments with multiple sensors. Results are compared against other state-of-the-art algorithms. We highlight that our system is a general framework, which can easily fuse various sensors in a pose graph optimization. Our implementations are open source\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}.

연구 동기 및 목표

• 강건성과 실용성을 향상시키기 위해 임의의 센서 조합을 수용할 수 있는 유연한 오도메트리 프레임워크의 필요성을 동기 부여한다.
• 각 센서가 잔차 요소를 산출하여 통합 포즈 그래프에 기여하는 최적화 기반 형식을 제안한다.
• 시각 및 관성 센서로 프레임워크를 시연하고 공개 데이터 세트와 실제 실험에서 검증한다.
• 커뮤니티의 채택과 확장을 용이하게 하기 위해 오픈 소스 코드를 제공한다.

제안 방법

• 오도메트리 문제를 최대우도 추정으로 모델링하고, 슬라이딩 윈도우상에서 비선형 최소제곱 문제(bundle adjustment)로 이끈다.
• 각 센서 측정치를 로봇 자세, 속도, 바이어스, 랜드마크 깊이를 포함하는 상태를 가진 포즈 그래프의 일반 요인으로 표현한다.
• 시각 재투영 잔차를 위한 카메라 요인(모노큘러 및 스테레오)과 연속 프레임 간 관성 제약을 위한 IMU 프리인테그레이션 요인을 사용한다.
• 마진화(Schur 보충)로 낡은 상태를 제거하되 정보를 프라이어로 보존하여 계산량을 한정한다.
• 수렴할 때까지 반복적인 최적화 루프에서 Ceres(해결기)를 사용하여 결과 희소 선형 시스템을 풀이한다.
• 해당 잔차 요소를 추가하여 프레임워크를 다른 센서로 확장할 수 있음을 주지한다.

실험 결과

연구 질문

• RQ1 단일 최적화 기반 프레임워크가 추정기를 재설계하지 않고 로컬 오도메트리를 위한 다중 센서 구성을 지원할 수 있는가?
• RQ2 슬라이딩 윈도우 BA 내에서 IMU 프리인테그레이션 및 카메라 재투영 요인을 통합하는 것이 스테레오, 모노큘러+IMU 및 스테레오+IMU 구성에서 어떤 성능을 보이는가?
• RQ3 현실 세계 및 공개 데이터세트에서 마진화가 계산 효율성과 추정 정확도에 미치는 영향은 무엇인가?
• RQ4 제안된 프레임워크가 센서 고장이나 대체 센서 모드로의 교체에 대해 얼마나 견고한가?

주요 결과

• 프레임워크는 세 가지 센서 구성: 스테레오 카메라, IMU가 결합된 모노큘러 카메라, 그리고 IMU가 결합된 스테레오 카메라를 지원한다.
• IMU 통합은 모션 트래킹을 크게 향상시키고 스테레오만 구성에 비해 드리프트를 감소시킨다.
• EuRoC 데이터세트의 실험은 IMU가 활성화된 구성에서 프레임워크가 다수 시퀀스에서 일반적으로 OKVIS를 능가함을 보인다.
• 현장 외부 실험은 IMU 포함 구성에서 스테레오만 구성보다 정확도가 향상됨을 보여준다.
• 오픈 소스 구현이 제공되며(VINS-Fusion), 커뮤니티의 사용 및 확장을 가능하게 한다.
• 이 방법은 서로 다른 센서 구성에서도 견고성을 유지하며 새로운 잔차 요인을 추가하여 추가 센서 유형에 적응할 수 있다.