[논문 리뷰] Probabilistic Combination of Noisy Points and Planes for RGB-D Odometry

Pedro F. Proença, Yang Gao|arXiv (Cornell University)|2017. 05. 18.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 깊이 센서의 불확실성을 모델링하고 기하학적 특징 추출 과정을 통해 이를 전파하여 불확실성 가중 잔차를 통해 카메라 자세를 최적화하는 RGB-D 카메라를 위한 확률적 시각 옹도메트리 방법을 제안한다. 이 방법은 저문테처 환경에서의 강건성을 크게 향상시킨다 — fr3/structure_notexture_far 시퀀스에서 점 기반 방법 대비 상대적 이동 오차를 30% 감소시켰다.

ABSTRACT

This work proposes a visual odometry method that combines points and plane primitives, extracted from a noisy depth camera. Depth measurement uncertainty is modelled and propagated through the extraction of geometric primitives to the frame-to-frame motion estimation, where pose is optimized by weighting the residuals of 3D point and planes matches, according to their uncertainties. Results on an RGB-D dataset show that the combination of points and planes, through the proposed method, is able to perform well in poorly textured environments, where point-based odometry is bound to fail.

연구 동기 및 목표

• 특징 점이 희박한 저문테처 또는 블러에 취약한 실내 환경에서 점 기반 시각 옹도메트리의 실패 문제를 해결하기 위해.
• 원시 센서 데이터에서 깊이 측정 불확실성을 모델링하고 이를 기하학적 원소 추출 과정을 통해 전파하여 카메라 자세 추정 정확도를 향상시키기 위해.
• 3D 점과 평면 원소를 통합된 확률적 프레임워크 안에서 그들의 불확실성에 따라 잔차를 가중하는 방식으로 통합하기 위해.
• 적절히 불확실성에 따라 가중된 평면 기반 특징이 구조광원 RGB-D 옹도메트리에서 강건성을 향상시킨다는 것을 입증하기 위해.
• ICP 스타일 정렬에서 유클리드 거리 최소화의 원칙적 대안을 제공하기 위해 불확실성 기반 가중치를 활용하기 위해.

제안 방법

• 캘리브레이션된 깊이 값과 알려진 깊이 불확실성 모델(σZ = 1.425×10⁻⁶Z² mm)을 사용하여 RGB 이미지에서 SURF 기반 특징을 검출하고 3D로 역투영한다.
• 깊이 불확실성을 평면 매개변수(법선 벡터 및 원점에서의 거리) 추정에 통합한 가중 최소 제곱 평면 피팅 방법을 적용한다.
• 카메라 자세 최적화를 위한 표준 점-평면 거리 대신 새로운 평면-평면 거리 측정 기준을 제안한다.
• 반복적인 가중치 재조정 최소 제곱 최적화를 수행하여 카메라 자세를 갱신하며, 점과 평면의 잔차를 각각의 불확실성에 따라 스케일링하여 총 오차를 최소화한다.
• 비용 함수에서 평면 잔차의 기여도를 점 잔차 대비 조절하기 위해 조정 가능한 파라미터 α를 사용한다.
• 일차 오차 전파와 야코비안 행렬을 사용하여 깊이 측정에서 3D 점 및 평면 추정 과정으로의 불확실성 전파를 유도한다.

실험 결과

연구 질문

• RQ1 확률적 프레임워크 내에서 3D 점과 평면 원소를 융합함으로써 저문테처 환경에서의 시각 옹도메트리 성능을 향상시킬 수 있는가?
• RQ2 깊이 센서의 불확실성을 모델링하면 RGB-D 옹도메트리에서 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ3 불확실성 가중 잔차 기준으로 볼 때 점과 평면 기반 특징 간 최적의 균형은 무엇인가?
• RQ4 기하학적 특징에 대한 불확실성 기반 가중치가 도전적인 시퀀스에서 드리프트를 감소시키고 강건성을 향상시키는가?
• RQ5 새로운 평면-평면 거리 측정 기준이 기존의 점-평면 방법에 비해 자세 추정의 안정성과 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 불확실성 가중 점 기반 옹도메트리 방법은 fr1/desk 시퀀스에서 상대적 이동 오차를 43 mm/s에서 38 mm/s로 감소시켜 불확실성 모델링의 유용성을 입증했다.
• 고속 블러와 낮은 특징 밀도를 특징으로 하는 fr1/360 시퀀스에서는 불확실성 가중 점 기반 옹도메트리가 오차를 109 mm/s에서 86 mm/s로 감소시켰다.
• α = 10일 때 점과 평면의 조합은 fr1/desk 시퀀스에서 이동 오차를 26 mm/s로 줄였으며, 최고의 공개된 단안 방법(26 mm/s 대비 43 mm/s)을 능가했다.
• 점 기반 옹도메트리가 실패한 fr3/structure_notexture_far 시퀀스에서는 통합 방법이 50 mm/s의 오차를 기록했으며, 최신 기술의 43 mm/s 대비 30% 향상된 성능을 보였다.
• 저문테처 조건에서 평면 기반 특징을 활용함으로써 fr3/cabinet 시퀀스에서 정확도가 17% 향상되었으며, 오차는 80 mm/s에서 73 mm/s로 감소했다.
• 최적의 α 값으로 10이 도출되었으며, 이는 점과 평면의 기여도를 균형 있게 조절한다. 높은 α 값은 저문테처 환경에서 평면의 기여를 강조하고, 낮은 α 값은 문양이 풍부한 환경에서 점의 기여를 강조한다.