[논문 리뷰] Direct Visual Odometry using Bit-Planes

Hatem Alismail, Brett Browning외 1명|arXiv (Cornell University)|2016. 01. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 53인용 수 8

한 줄 요약

이 논문은 직접 시각 온도메트리 방법을 제안하며, 밝기 일관성 가정이 깨지는 상황에서의 성능 저하를 극복하기 위해 새로운 이진 기술자인 Bit-Planes를 기울기 기반 최적화 프레임워크에 통합한다. Bit-Planes의 광학적 불변성과 최소 제곱법 하에서 히스팅 거리와의 등가성을 활용하여, 저조도, 저무늬, 극심한 조도 변화 환경에서도 강인한 자세 추정을 달성한다. 이는 도전적인 지하 광산 데이터셋에서 최신 기능 기반 및 직접 방법들을 능가하는 성능을 보인다.

ABSTRACT

Feature descriptors, such as SIFT and ORB, are well-known for their robustness to illumination changes, which has made them popular for feature-based VSLAM\@. However, in degraded imaging conditions such as low light, low texture, blur and specular reflections, feature extraction is often unreliable. In contrast, direct VSLAM methods which estimate the camera pose by minimizing the photometric error using raw pixel intensities are often more robust to low textured environments and blur. Nonetheless, at the core of direct VSLAM is the reliance on a consistent photometric appearance across images, otherwise known as the brightness constancy assumption. Unfortunately, brightness constancy seldom holds in real world applications. In this work, we overcome brightness constancy by incorporating feature descriptors into a direct visual odometry framework. This combination results in an efficient algorithm that combines the strength of both feature-based algorithms and direct methods. Namely, we achieve robustness to arbitrary photometric variations while operating in low-textured and poorly lit environments. Our approach utilizes an efficient binary descriptor, which we call Bit-Planes, and show how it can be used in the gradient-based optimization required by direct methods. Moreover, we show that the squared Euclidean distance between Bit-Planes is equivalent to the Hamming distance. Hence, the descriptor may be used in least squares optimization without sacrificing its photometric invariance. Finally, we present empirical results that demonstrate the robustness of the approach in poorly lit underground environments.

연구 동기 및 목표

• 어두운 조명, 저무늬, 비균일한 조명 조건에서 밝기 일관성 가정이 성립하지 않을 경우 직접 시각 온도메트리의 실패 문제를 해결하기 위해.
• 기능 기술자의 광학적 불변성과 직접 방법의 효율성 및 밀도 있는 픽셀 활용성을 융합하기 위해.
• 직접 VO 프레임워크에서 기울기 기반 최적화와 호환되는 이진 기술자를 개발하기 위해.
• 기존 VO 시스템이 실패하는 실제 도전적인 환경(예: 지하 광산)에서의 강인성을 입증하기 위해.

제안 방법

• 이미지 비트플레인에서 유도된, 단조적 밝기 변화에 불변성을 가지는 이진 기술자인 Bit-Planes를 제안한다.
• 가우스-뉴턴 최적화를 통한 광학 오차 최소화를 이용해 Bit-Planes를 직접 시각 온도메트리 프레임워크에 통합한다.
• Bit-Planes 벡터 간의 제곱 유클리드 거리가 수학적으로 히스팅 거리와 동일시되며, 이는 효율적인 최소 제곱 최적화를 가능하게 한다.
• 수렴성과 강인성을 향상시키기 위해 다중 척도 이미지 피라미드를 활용한 코arse-to-fine 전략을 사용한다.
• 실시간 운영을 위해 하드웨어 가속을 통한 SGM을 활용한 일정 기준 거리 스테레오 설정을 채택한다.
• 모든 알고리즘을 진짜 깊이 맵으로 초기화하여, 기능 추출 또는 깊이 추출 실패로 인한 자세 추정 오차를 분리한다.

실험 결과

연구 질문

• RQ1 어떤 이진 기술자가 직접 시각 온도메트리 파이프라인에 효과적으로 통합되어 극심한 조도 변화 조건에서의 강인성을 향상시킬 수 있는가?
• RQ2 Bit-Planes의 사용이 기존의 직접 및 기능 기반 방법이 실패하는 저무늬, 저조도 환경에서 직접 방법의 신뢰성 있는 작동을 가능하게 하는가?
• RQ3 Bit-Planes 벡터 간의 제곱 유클리드 거리가 히스팅 거리와 동일한가? 이는 표준 최소 제곱 최적화와의 호환성을 보장하는가?
• RQ4 극심한 조도 조건 하에서 최신의 직접 및 기능 기반 VO 시스템과 비교해 본다면, 제안된 방법의 정확성과 강인성은 어떠한가?

주요 결과

• KITTI 벤치마크에서 VISO2와 FOVIS보다 제안된 방법이 더 낮은 이동 및 회전 오차를 기록하며, 특히 큰 운동으로 인해 직접 방법의 성능이 저하되는 고속 주행 조건에서 두드러진다.
• Bit-Planes 덕분에 어두운 지하 광산 환경에서 400미터 이상 간섭이 거의 없는 3D 지도를 통해 간섭이 적은 간섭을 기록한다.
• 실제 지하 광산 데이터를 통한 실험을 통해, 저무늬, 저조도 조건에서 기존의 직접 및 기능 기반 접근법보다 제안된 방법이 뛰어난 성능을 보였다.
• Bit-Planes 벡터 간의 제곱 유클리드 거리가 수학적으로 히스팅 거리와 동일하다는 것이 입증되었으며, 이는 표준 최소 제곱 최적화의 활용을 정당화한다.
• 자동 카메라 설정으로 인한 비선형적 밝기 분포 왜곡 조건에서도 알고리즘이 높은 정확도를 유지함을 외부 및 실내 테스트 시퀀스를 통해 입증하였다.
• 실패 사례는 주로 근접한 LED 조명에 의한 이미지 화이트아웃 현상에서 기인하며, 향후 극단적인 조도 포화를 다루는 연구가 필요함을 시사한다.