[논문 리뷰] Probabilistic RGB-D Odometry based on Points, Lines and Planes Under Depth Uncertainty

Pedro F. Proença, Yang Gao|View|2017. 06. 13.

Robotics and Sensor-Based Localization참고 문헌 32인용 수 7

한 줄 요약

이 논문은 깊이 불확실성을 모델링하기 위해 가우시안 혼합 모델 기반 깊이 융합 프레임워크를 사용하여 점, 선, 평면을 융합하는 확률적 RGB-D 시각 온도미터 시스템을 제안한다. 이로 인해 3D 기하 형태의 확률적 피팅을 통해 깊이 불확실성을 전파함으로써, 낮은 무늬, 동적인 환경 및 깊이가 가림을 겪는 환경에서도 강인한 자세 추정을 달성하며, 공개 및 자체 구축 데이터셋에서 점만 또는 점-선 조합의 기존 방법들을 능가한다.

ABSTRACT

This work proposes a robust visual odometry method for structured environments that combines point features with line and plane segments, extracted through an RGB-D camera. Noisy depth maps are processed by a probabilistic depth fusion framework based on Mixtures of Gaussians to denoise and derive the depth uncertainty, which is then propagated throughout the visual odometry pipeline. Probabilistic 3D plane and line fitting solutions are used to model the uncertainties of the feature parameters and pose is estimated by combining the three types of primitives based on their uncertainties. Performance evaluation on RGB-D sequences collected in this work and two public RGB-D datasets: TUM and ICL-NUIM show the benefit of using the proposed depth fusion framework and combining the three feature-types, particularly in scenes with low-textured surfaces, dynamic objects and missing depth measurements.

연구 동기 및 목표

• 낮은 무늬 표면, 동적인 물체, 깊이 측정값이 손실된 환경에서의 시각 온도미터 강인성을 향상시키기 위해.
• 노이즈, 범위/시야각 제약, 깊이 불연속성 등의 깊이 센서 한계를 깊이 불확실성 모델링을 통해 해결하기 위해.
• 불확실성 인식 피팅 및 융합을 통한 점, 선, 평면 특징의 조합으로 자세 추정 정확도를 향상시키기 위해.
• 원시 깊이 맵을 노이즈 제거하고 시간적으로 손실된 측정값을 확률적 불확실성 전파를 통해 복구하는 깊이 융합 프레임워크를 개발하기 위해.
• 자체 및 공개 RGB-D 데이터셋에서 시스템을 평가하여 점 전용 또는 점-선 전용 기준보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 공간적 및 시간적 깊이 측정값 분포를 모델링함으로써 원시 깊이 맵을 노이즈 제거하고 깊이 불확실성을 추정하는 가우시안 혼합 모델(MoG) 기반 깊이 융합 프레임워크.
• 깊이 불확실성에서 유도된 가중치를 사용한 가중선형 최소제곱법을 통한 확률적 3D 선 및 평면 피팅으로 특징 매개변수의 불확실성을 모델링.
• 각 특징의 3D 매개변수 불확실성을 고려한 가중최소제곱법을 사용하여 점, 선, 평면의 세 가지 기하 형태를 모두 통합한 자세 추정.
• 깊이 융합 프레임워크는 시간에 따라 슬라이딩 윈도우 방식으로 작동하며, 과거 측정값을 재사용함으로써 깊이 카메라의 좁은 시야각을 초월한 깊이 추정을 유지.
• 광각 RGB 렌즈는 시각 시야각을 확장하고, 깊이 융합 프레임워크는 과거에 깊이 센서의 범위를 벗어난 영역로 깊이 데이터를 전파함으로써 기능.
• 2D 특징 검출(SURF), 3D 특징 매칭, RANSAC 및 반복 최적화를 통한 자세 보정을 포함하는 시각 온도미터 파이프라인과 통합.

실험 결과

연구 질문

• RQ1 점, 선, 평면을 불확실성 모델링과 함께 융합할 경우 낮은 무늬 및 동적인 환경에서 시각 온도미터 성능이 어떻게 향상되는가?
• RQ2 가우시안 혼합 모델 기반 깊이 융합 프레임워크는 RGB-D 시퀀스에서 노이즈를 얼마나 줄이고, 손실된 깊이 측정값을 얼마나 효과적으로 복구할 수 있는가?
• RQ3 센서 노이즈 및 깊이 불연속성이 존재할 때 깊이 불확실성 모델링이 3D 선 및 평면 피팅의 강인성에 어떻게 기여하는가?
• RQ4 시간적 깊이 융합은 깊이 데이터 손실 또는 노이즈가 있는 시퀀스에서 자세 추정 정확도와 추적 안정성에 어떤 영향을 미치는가?
• RQ5 장애물 및 운동 왜곡이 있는 어려운 실세계 시나리오에서 제안된 시스템이 점 전용 또는 점-선 전용 온도미터를 능가할 수 있는가?

주요 결과

• 점, 선, 평면을 모두 융합한 전체 시스템은 모든 테스트 시퀀스에서 가장 낮은 상대 자세 오차(RPE)를 기록하며, 점 전용 및 점-선 전용 변종보다 뛰어난 성능을 보였다.
• ICL-NUIM 데이터셋에서 전체 시스템은 점 전용 온도미터 대비 RPE가 30% 감소했으며, 낮은 무늬 영역에서 추적 안정성이 향상되었다.
• 깊이 융합 프레임워크는 깊이 맵 노이즈를 감소시키고 깊이 카메라의 시야각을 초월한 측정값 복구를 가능하게 하여, 시간 융합에서 최대 10 프레임까지 사용 가능한 깊이 데이터를 연장했다.
• 주차장 시퀀스에서는 점 전용 온도미터가 실패한 상황에서도 전체 시스템이 추적을 유지하여 낮은 무늬 및 동적인 환경에 대한 강인성이 향상됨을 시사했다.
• 모든 데이터셋에서 일관된 성능 향상이 관찰되었으며, 특히 깊이 측정값 손실과 표면이 무늬가 없는 영역이 많은 시퀀스에서 가장 높은 성능 향상이 기록되었다.
• 프로세싱 시간은 단일 코어 CPU에서 평균 35ms/프레임이며, 깊이 융합 및 평면 추출이 가장 계산 비용이 높은 컴포넌트였다.