[논문 리뷰] Continuous Direct Sparse Visual Odometry from RGB-D Images

Maani Ghaffari, William Clark외 3명|arXiv (Cornell University)|2019. 04. 03.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 5

한 줄 요약

이 논문은 재생 핵 힐버트 공간 내 기능적 공식화를 사용하여 RGB-D 이미지에 대한 연속적이고 직접적이며 희소한 시각 옹도메트리 방법을 제안한다. 이는 폐쇄형 기울기 계산과 해상도에 영향을 받지 않는 정렬을 가능하게 한다. 방법은 SE(n)의 리 대수에서 연속적인 유량 통합으로 강체 운동을 공식화하여 기존의 직접적 방법에 비해 저조도 환경에서 뛰어난 성능을 달성한다.

ABSTRACT

This paper reports on a novel formulation and evaluation of visual odometry from RGB-D images. Assuming a static scene, the developed theoretical framework generalizes the widely used direct energy formulation (photometric error minimization) technique for obtaining a rigid body transformation that aligns two overlapping RGB-D images to a continuous formulation. The continuity is achieved through functional treatment of the problem and representing the process models over RGB-D images in a reproducing kernel Hilbert space; consequently, the registration is not limited to the specific image resolution and the framework is fully analytical with a closed-form derivation of the gradient. We solve the problem by maximizing the inner product between two functions defined over RGB-D images, while the continuous action of the rigid body motion Lie group is captured through the integration of the flow in the corresponding Lie algebra. Energy-based approaches have been extremely successful and the developed framework in this paper shares many of their desired properties such as the parallel structure on both CPUs and GPUs, sparsity, semi-dense tracking, avoiding explicit data association which is computationally expensive, and possible extensions to the simultaneous localization and mapping frameworks. The evaluations on experimental data and comparison with the equivalent energy-based formulation of the problem confirm the effectiveness of the proposed technique, especially, when the lack of structure and texture in the environment is evident.

연구 동기 및 목표

• 이미지 샘플링과 해상도 제한에 의존하지 않는 연속적 시각 옹도메트리 공식화를 개발하기 위해.
• 이미지 강도 및 깊이 데이터를 재생 핵 힐버트 공간에 표현하여 완전한 분석적 기울기 계산을 가능하게 하기 위해.
• 수치 미분과 명시적 데이터 대응이 필요 없도록 하는 직접 에너지 기반 방법을 연속 함수로 일반화하기 위해.
• 이미지 상관관계의 희소화된 커널 표현을 활용하여 저조도 환경에서의 강건한 성능을 달성하기 위해.
• 병렬 처리가 가능하고 반밀도 추적 기능을 갖춘 SLAM 시스템에의 통합 기반을 제공하기 위해.

제안 방법

• 이 방법은 재생 핵 힐버트 공간 내 RGB-D 측정치에 정의된 두 함수 간 내적을 최대화하는 방식으로 센서 정렬 문제를 모델링한다.
• SE(n) 리 군의 작용은 해당 리 대수의 흐름 통합을 통해 공식화되어 연속적인 변환 추정이 가능해진다.
• 이 프레임워크는 이미지 강도와 깊이의 연속적 기능적 표현을 사용하여 픽셀 격자 의존성을 피하고 해상도에 영향을 받지 않는 처리를 가능하게 한다.
• 커널의 성질을 이용해 에너지 함수의 기울기를 폐쇄형으로 유도함으로써 수치적 이미지 기울기 의존성을 제거한다.
• 1e-3 이하의 값을 가진 요소들을 임계값 처리하여 커널 행렬의 희소화를 적용함으로써 계산 효율성과 기하학적 상관관계의 구조를 유지한다.
• 효율적인 계산을 위해 경계 검출과 정렬된 깊이 데이터 내 일대일 대응을 기반으로 반밀도 점군을 활용한다.

실험 결과

연구 질문

• RQ1 이미지 해상도에 의존하지 않으며 수치 미분을 피할 수 있는 연속적 직접 시각 옹도메트리 공식화를 개발할 수 있는가?
• RQ2 SE(n)의 리 군 작용을 RGB-D 데이터의 기능적 표현을 통해 어떻게 연속적으로 통합할 수 있는가?
• RQ3 재생 핵 힐버트 공간 내 기능적 표현이 기울기 계산과 저조도 환경에서의 추적 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 명시적 데이터 대응 없이도 기존의 직접적 방법과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ5 희소화된 커널 구조는 기하학적 상관관계를 어떻게 유지하면서 동시에 병렬 계산을 가능하게 하는가?

주요 결과

• 제안된 방법은 RGB-D 데이터의 연속적 기능적 표현을 기반으로 하여 해상도에 영향을 받지 않는 정렬을 달성하여 고정된 이미지 해상도에 의존하지 않는다.
• 기울기 계산은 완전히 분석적이며 폐쇄형 유도를 통해 이루어져 수치적 미분에 의존하지 않으며 계산 안정성을 향상시킨다.
• 특히 저조도 환경에서 기존의 OpenCV 기반 Steinbrücker 등의 기준 구현보다 추적 정확도에서 뛰어나거나 동등한 성능을 달성한다.
• 1e-3의 커널 행렬 희소화 임계값은 계산을 줄이면서도 기하학적 상관관계를 유지하는 데 효과적이며, 그림 1의 희소 커널 패턴에서 이를 확인할 수 있다.
• 그림 3의 누적 오차 분포는 특히 도전적인 시퀀스에서 기준 대비 위치 및 자세의 이격을 더 낮추고 있음을 확인한다.
• 이 프레임워크는 자연스럽게 병렬 처리가 가능하며 반밀도 추적 기능을 지원하여 CPU 및 GPU 모두에서 실시간 성능을 달성할 수 있다.