[논문 리뷰] ROVO: Robust Omnidirectional Visual Odometry for Wide-baseline Wide-FOV Camera Systems

Hochang Seok, Jongwoo Lim|arXiv (Cornell University)|2019. 02. 28.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 4

한 줄 요약

이 논문은 광각 기준, 광시야각(fisheye) 카메라 라이드에 적합한 강건한 전방향 시각 옵티컬 플로우 시스템인 ROVO를 제안한다. 왜곡을 줄이고 특징 매칭을 향상시키기 위해 하이브리드 투영 모델을 도입하였으며, 강력한 자세 추정을 위한 다중시점 P3P RANSAC 알고리즘과, 번들 조정에 통합된 온라인 외부 캘리브레이션을 제안하여, 실제 및 합성 데이터셋을 바탕으로 동적인 환경에서도 높은 정확도와 안정성을 확보하였다.

ABSTRACT

In this paper we propose a robust visual odometry system for a wide-baseline camera rig with wide field-of-view (FOV) fisheye lenses, which provides full omnidirectional stereo observations of the environment. For more robust and accurate ego-motion estimation we adds three components to the standard VO pipeline, 1) the hybrid projection model for improved feature matching, 2) multi-view P3P RANSAC algorithm for pose estimation, and 3) online update of rig extrinsic parameters. The hybrid projection model combines the perspective and cylindrical projection to maximize the overlap between views and minimize the image distortion that degrades feature matching performance. The multi-view P3P RANSAC algorithm extends the conventional P3P RANSAC to multi-view images so that all feature matches in all views are considered in the inlier counting for robust pose estimation. Finally the online extrinsic calibration is seamlessly integrated in the backend optimization framework so that the changes in camera poses due to shocks or vibrations can be corrected automatically. The proposed system is extensively evaluated with synthetic datasets with ground-truth and real sequences of highly dynamic environment, and its superior performance is demonstrated.

연구 동기 및 목표

• 극도로 심한 렌즈 왜곡과 큰 시점 차이로 인해 넓은 기준, 광시야각 피시아 카메라 시스템에서 특징 매칭 및 자세 추정에 발생하는 과제를 해결한다.
• 이동하는 물체가 주로 시야에 포함되는 매우 동적인 환경에서의 강건성을 향상시킨다.
• 운영 중 라이드 변형 또는 초기 외부 캘리브레이션의 정확도 부족으로 인한 드리프트 및 오차를 완화한다.
• 최소한의 기준 길이 손실로도 다중 겹침 피시아 뷰를 활용해 정확한 메트릭 자가 운동 추정을 가능하게 한다.
• 급격한 조도 변화, 좁은 통로, 고밀도 차량 운행 등의 실제 환경 조건에서도 높은 성능을 유지할 수 있는 시스템을 개발한다.

제안 방법

• 왜곡을 최소화하고 피시아 뷰 간 특징 겹침을 극대화하기 위해 투시 투영과 실린더 투영을 조합한 하이브리드 투영 모델을 제안한다.
• 하이브리드 투영을 활용해 뷰 간 지속적인 특징 추적과 일관된 기술자 계산을 가능하게 한다.
• 모든 뷰를 동시에 평가하는 다중시점 P3P RANSAC 알고리즘을 도입하여 자세 추정의 강건성을 향상시킨다.
• 충격이나 진동으로 인한 라이드-카메라 자세 오차를 동적으로 보정하기 위해 온라인 외부 캘리브레이션을 국소 번들 조정 프레임워크에 통합한다.
• 초기 외부 파rameter 추정을 위해 큰 체커보드를 사용한 표준 카메라 라이드 캘리브레이션을 수행한다.
• 시스템을 실제 차량에 장착된 라이드에서 수집한 실세계 시퀀스와 지도 트래잭터리가 제공되는 합성 데이터셋 양쪽에 적용한다.

실험 결과

연구 질문

• RQ1 극도로 심한 렌즈 왜곡을 가진 넓은 기준, 광시야각 피시아 카메라 시스템에서 특징 매칭을 어떻게 향상시킬 수 있는가?
• RQ2 다중시점 확장된 P3P RANSAC은 이동 물체가 많은 매우 동적인 장면에서 자세 추정의 강건성을 향상시킬 수 있는가?
• RQ3 온라인 외부 캘리브레이션은 실제 배포 환경에서 드리프트를 얼마나 줄이고 정확도를 향상시키는가?
• RQ4 하이브리드 투영 모델은 표준 피시아 또는 이퀴리커클라 투영 대비 특징 매칭 품질에서 어떤가?
• RQ5 제안된 시스템은 급격한 조도 변화와 좁은 도심 거리와 같은 극한 환경 조건에서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 하이브리드 투영 모델은 평균 기술자 거리(Descriptor Distance)를 124.85에서 35.27로 감소시키고, 인라이어 비율을 21.53%에서 73.16%로 상승시켜 특징 매칭의 신뢰도를 크게 향상시켰다.
• 온라인 외부 캘리브레이션을 통해 초기 외부 파rameter가 노이즈가 심한 경우(σ = 5°)라도 시스템이 100 프레임 내에 정확한 값으로 수렴하며 궤적 오차를 지도 트래잭터리 수준으로 줄였다.
• 주차장 시퀀스에서 루프 클로징 없이도 정확한 궤적 추정을 달성하여 강력한 국소 일관성을 입증하였다.
• 왕시민 및 성수 실세계 시퀀스에서 이동 중인 차량으로 인한 이상치를 성공적으로 거부하고 좁고 동적인 거리에서도 정확한 자세 추정을 유지하였다.
• 온라인 캘리브레이션을 통해 재투영 오차와 인라이어 비율이 크게 향상되어 지도 외부 파rameter 성능에 가까워졌다.
• 급격한 교통 혼잡, 급격한 조도 변화, 고다이내믹 레인지 장면과 같은 도전적인 조건에서도 강건성을 입증하였으며, 합성 및 실세계 데이터셋 모두에서 베이스라인 방법을 능가하는 성능을 보였다.