[논문 리뷰] Direct Sparse Odometry

Jakob Engel, Vladlen Koltun외 1명|arXiv (Cornell University)|2016. 07. 09.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 65

한 줄 요약

이 논문은 키포인트나 기하학적 사전 지식에 의존하지 않고, 희박하고 기울기가 높은 이미지 포인트에서의 광학적 오차를 직접 최적화하는 실시간 단안 시각 온도메트리 시스템인 Direct Sparse Odometry(DSO)를 제안한다. 전체 광학적 캘리브레이션과 역 깊이 및 카메라 운동의 동시 최적화를 통해, 글로벌 셔터를 갖춘 정확하게 캘리브레이션된 카메라에서 최신 간접 및 직접 방법보다 뛰어난 정확도와 강건성을 달성한다.

ABSTRACT

We propose a novel direct sparse visual odometry formulation. It combines a fully direct probabilistic model (minimizing a photometric error) with consistent, joint optimization of all model parameters, including geometry -- represented as inverse depth in a reference frame -- and camera motion. This is achieved in real time by omitting the smoothness prior used in other direct methods and instead sampling pixels evenly throughout the images. Since our method does not depend on keypoint detectors or descriptors, it can naturally sample pixels from across all image regions that have intensity gradient, including edges or smooth intensity variations on mostly white walls. The proposed model integrates a full photometric calibration, accounting for exposure time, lens vignetting, and non-linear response functions. We thoroughly evaluate our method on three different datasets comprising several hours of video. The experiments show that the presented approach significantly outperforms state-of-the-art direct and indirect methods in a variety of real-world settings, both in terms of tracking accuracy and robustness.

연구 동기 및 목표

• 키포인트 검출기나 기하학적 사전 지식을 사용하지 않으면서도 실시간 성능를 유지하는 직접적 희박 시각 온도메트리 시스템을 개발하는 것.
• 완전히 직접적인 광학적 오차 모델을 사용하여 카메라 운동과 3차원 기하학을 동시에 최적화함으로써 추적 정확도와 강건성을 향상시키는 것.
• 측정 일관성을 향상시키기 위해 온도메트리 파이프라인에 전체 광학적 캘리브레이션(노출 시간, 렌즈 비닝게팅, 비선형 반응 함수)을 통합하는 것.
• 현대적이고 정확하게 캘리브레이션된 카메라에서 직접적 희박 방법이 간접 방법을 능가할 수 있음을 보여주는 것, 특히 저텍스처 또는 도전적인 조명 조건에서이다.
• 기하학적 부드러움 사전 지식을 생략함으로써 모든 이미지 기울기, 특히 에지와 매끄러운 영역을 손실 없이 효과적으로 활용할 수 있으며 안정성도 유지할 수 있음을 보여주는 것.

제안 방법

• 특징 매칭에 의존하지 않고, 연속 프레임 간 이미지 강도 간 광학적 오차를 최소화하는 완전히 직접적인 확률 모델을 사용한다.
• 카메라 자세, 희박한 3차원 포인트의 역 깊이, 광학적 캘리브레이션 매개변수를 비선형 최적화를 통해 동시에 최적화한다.
• 코너 검출기 의존을 피하기 위해, 강도 기울기가 높은 영역(예: 에지, 텍스처가 풍부한 영역)을 우선순위로 삼아 이미지 전반에 균일하게 픽셀을 샘플링한다.
• 노출 시간, 렌즈 비닝게팅, 비선형 반응 함수를 포함한 전체 광학적 캘리브레이션을 통합하여 측정 일관성을 향상시킨다.
• 기존의 직접 방법에서 사용하는 기하학적 부드러움 사전 지식을 회피하기 위해, 최적화의 안정성을 확보하기 위해 작은 局부 영역에서 광학적 오차를 평가한다.
• 오래된, 덜 관련성이 높은 프레임과 포인트를 기각함으로써 실시간 성능를 유지하기 위해 점진적 마진화와 상태 제거를 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 사전 지식을 사용하지 않으면서도, 간접 방법의 최신 기술 수준을 뛰어넘는 정확도와 강건성을 갖춘 직접적 희박 시각 온도메트리 시스템이 가능한가?
• RQ2 완전한 광학적 캘리브레이션은 광학적 온도메트리 성능을 상당히 향상시키는가, 특히 표준 밝기 일관성 가정과 비교해 볼 때?
• RQ3 기하학적 사전 지식 없이도, 키포인트 검출기에 의존하지 않고 모든 기울기가 높은 이미지 영역을 사용하면서도 실시간 성능를 달성할 수 있는가?
• RQ4 기하학적 부드러움 사전 지식의 생략은 직접적 희박 온도메트리에서 최적화의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 직접 방법의 성능는 글로벌 셔터와 정밀한 렌즈 캘리브레이션을 갖춘 카메라 하드웨어의 품질에 얼마나 의존하는가?

주요 결과

• DSO는 여러 데이터셋에서 ORB-SLAM, PTAM과 같은 최신 간접 방법과 LSD-SLAM과 같은 직접 방법보다 추적 정확도와 강건성 면에서 뚜렷한 우월성을 보였다.
• 기하학적 사전 지식을 회피하고 효율적인 픽셀 샘플링 및 점진적 마진화를 사용함으로써 표준 하드웨어에서도 실시간 성능를 달성했다.
• 오직 코너만이 아닌 모든 기울기가 높은 픽셀을 사용함으로써 추적 정확도에 측정 가능한 향상이 있었으며, 이는 포인트 수가 희박하더라도 마찬가지였다.
• 광학적 캘리브레이션은 특히 도전적인 조명 조건에서 성능 향상에 상당한 기여를 하였으며, 표준 밝기 일관성 가정이 부족함을 입증하였다.
• 직접적 접근은 광학적 노이즈에 더 강건하며, 정확하게 캘리브레이션된 카메라에서 더 높은 정확도를 달성하지만, 간접 방법은 롤링 셔터나 낮은 캘리브레이션 정확도와 같은 기하학적 왜곡에 더 강건하다.
• 활성 포인트 수에 비례하는 밀도를 갖는 3차원 포인트 클라우드를 성공적으로 재구성하였으며, 저텍스처 환경에서 간접 방법이 실패하는 상황에서도 에지와 매끄러운 영역을 자연스럽게 포착하였다.