[논문 리뷰] Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras

Rui Wang, Martin Schwörer외 1명|arXiv (Cornell University)|2017. 08. 25.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 45

한 줄 요약

스테레오 DSO는 슬라이딩 윈도우 내에서 번들 조정을 통해 카메라 자세, 내부/외부 파라미터, 희소 깊이 값을 동시에 최적화하는 실시간 대규모 시각 옵티컬 플로우 시스템을 제안한다. 정적 스테레오 제약 조건을 시간적 다중시점 스테레오 파이프라인에 통합하고, 균일한 기울기 기반 픽셀 샘플링을 사용함으로써, 기존의 최신 기술보다 우수한 정확도와 강건성을 확보한다. 특히 스케일 드리프트와 광학 플로우 과제에 대해 뛰어난 성능을 발휘한다.

ABSTRACT

We propose Stereo Direct Sparse Odometry (Stereo DSO) as a novel method for highly accurate real-time visual odometry estimation of large-scale environments from stereo cameras. It jointly optimizes for all the model parameters within the active window, including the intrinsic/extrinsic camera parameters of all keyframes and the depth values of all selected pixels. In particular, we propose a novel approach to integrate constraints from static stereo into the bundle adjustment pipeline of temporal multi-view stereo. Real-time optimization is realized by sampling pixels uniformly from image regions with sufficient intensity gradient. Fixed-baseline stereo resolves scale drift. It also reduces the sensitivities to large optical flow and to rolling shutter effect which are known shortcomings of direct image alignment methods. Quantitative evaluation demonstrates that the proposed Stereo DSO outperforms existing state-of-the-art visual odometry methods both in terms of tracking accuracy and robustness. Moreover, our method delivers a more precise metric 3D reconstruction than previous dense/semi-dense direct approaches while providing a higher reconstruction density than feature-based methods.

연구 동기 및 목표

• 복잡하고 동적인 환경에서 높은 정확도와 강건성을 확보하는 실시간 대규모 시각 옵티컬 플로우 시스템을 개발하는 것.
• 고정 기준 거리 스테레오 카메라를 활용해 직접적인 단안 방법에서의 스케일 드리프트와 큰 광학 플로우에 대한 민감도 문제를 해결하는 것.
• 희소 깊이 및 카메라 파라미터의 동시 최적화를 통해 특징 기반 및 밀도 기반 직접 방법보다 재구성 밀도와 메트릭 정확도를 향상시키는 것.
• 롤링 셔터 효과와 극단적인 밝기 변화와 같은 도전적인 조건에서도 강력한 성능을 발휘하는 것.
• 이전의 반밀도 직접 방법보다 더 정밀한 3차원 재구성을 제공하면서도 특징 기반 접근 방식보다 높은 밀도를 유지하는 것.

제안 방법

• 선택된 픽셀에 대해 카메라 자세, 내부/외부 파라미터, 희소 깊이 값을 동시에 최적화하는 슬라이딩 윈도우 최적화 프레임워크를 사용한다.
• 좌우 카메라 간 고정 기준 거리에서 유도된 정적 스테레오 제약 조건을 번들 조정 파이프라인에 통합하여 기하학적 일관성을 강제한다.
• 실시간 최적화를 위해 강한 강도 기울기를 가진 영역에서 균일한 픽셀 샘플링을 적용하며, GPU 지원 없이도 가능하게 한다.
• 스케일이 큰 최적화 문제를 윈도우 기반 프레임워크 내에서 효율적으로 처리하기 위해 슈어 보완 기반의 마진화 기법을 사용한다.
• 일조 변화에 대응하기 위해 광학 오차 항에 애파라미터 브라이트니스 보정을 적용하지만, 극단적인 밝기 변화에는 여전히 민감하다.
• 동기화된 스테레오 이미지 촬영을 통해 다중시점 스테레오 일관성을 활용해 암시적으로 롤링 셔터 효과를 감소시킨다.

실험 결과

연구 질문

• RQ1 직접적인 희소 시각 옵티컬 플로우 시스템이 대규모 환경에서 최신 기술의 단안 및 스테레오 방법보다 더 높은 정확도와 강건성을 확보할 수 있는가?
• RQ2 번들 조정 파이프라인에 정적 스테레오 제약 조건을 통합하면 단안 직접 방법 대비 스케일 추정 향상과 드리프트 감소에 얼마나 기여하는가?
• RQ3 균일한 기울기 기반 픽셀 샘플링은 정확도를 희생시키지 않고도 실시간 성능을 가능하게 하는가?
• RQ4 롤링 셔터 효과와 극단적인 조명 변화와 같은 도전적인 조건에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 특징 기반 또는 밀도 기반 방법보다 더 높은 밀도와 정확도의 3차원 재구성을 제공할 수 있는가?

주요 결과

• KITTI 데이터셋에서 스테레오 DSO는 루프 클로징 없이도 최신 기술의 단안 및 스테레오 시각 옵티컬 플로우 방법보다 높은 추적 정확도와 강건성을 확보한다.
• KITTI 테스트 세트에서 스테레오 DSO는 루프 클로징과 글로벌 번들 조정을 적용한 스테레오 ORB-SLAM2보다 더 정확한 결과를 제공하며, 스케일 추정과 궤적 일관성 측면에서 뛰어난 성능을 입증한다.
• 이 방법은 특징 기반 방법보다 높은 밀도와 이전의 반밀도 또는 밀도 기반 직접 접근보다 더 높은 정확도를 확보한 정밀한 메트릭 3차원 재구성을 실현한다.
• 프랑크푸르트 시퀀스에 대한 시각적 결과는 고역역도 조명과 이동하는 물체가 존재하는 상황에서도 안정적인 추적과 정확한 재구성을 보여준다.
• 정적 스테레오 제약 조건의 통합은 스케일 드리프트를 효과적으로 완화하고, 큰 광학 플로우 및 롤링 셔터 효과에 대한 민감도를 감소시킨다.
• 극단적인 밝기 변화(예: 오토 에어리어 조정 이격)를 다루는 데에는 한계가 있지만, 대부분의 실제 환경 조건에서 여전히 강건성을 유지하며, 실패 사례는 애파라미터 브라이트니스 모델링이 극단적 변화에 대해 충분하지 않기 때문으로 분석된다.