[논문 리뷰] Fast Cylinder and Plane Extraction from Depth Cameras for Visual Odometry

Pedro F. Proença, Yang Gao|arXiv (Cornell University)|2018. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 12

한 줄 요약

이 논문은 깊이 영상에서 평면과 원통을 빠르고 효율적으로 추출하기 위한 CAPE를 제안한다. 평면 셀의 격자 구조를 사용함으로써 단일 CPU 코어에서 300 Hz로 실시간 시각적 오도메트리가 가능하다. 원통 매개변수를 확률적으로 모델링하고 이를 확률적 RGB-D 오도메트리 프레임워크에 통합함으로써, 원통형 환경에서의 자세 추정 성능을 크게 향상시켰다. 평면 전용 방법인 PEAC와는 달리, 이러한 환경에서 성능 저하가 발생하지 않으며, 원통형 환경에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents CAPE, a method to extract planes and cylinder segments from organized point clouds, which processes 640x480 depth images on a single CPU core at an average of 300 Hz, by operating on a grid of planar cells. While, compared to state-of-the-art plane extraction, the latency of CAPE is more consistent and 4-10 times faster, depending on the scene, we also demonstrate empirically that applying CAPE to visual odometry can improve trajectory estimation on scenes made of cylindrical surfaces (e.g. tunnels), whereas using a plane extraction approach that is not curve-aware deteriorates performance on these scenes. To use these geometric primitives in visual odometry, we propose extending a probabilistic RGB-D odometry framework based on points, lines and planes to cylinder primitives. Following this framework, CAPE runs on fused depth maps and the parameters of cylinders are modelled probabilistically to account for uncertainty and weight accordingly the pose optimization residuals.

연구 동기 및 목표

• 터널과 같은 원통형 환경에서 곡면에서의 평면 피팅의 불안정성 문제를 해결한다.
• 구조화된 환경에서의 내성 향상을 위해 조직화된 깊이 포인트 클라우드에서 평면과 원통을 동시에 추출할 수 있는 빠르고 저지연의 방법을 개발한다.
• 확률적 RGB-D 오도메트리 프레임워크에 원통 기하형태를 통합하여 평면 모델이 실패하는 상황에서 자세 추정 정확도를 향상시킨다.
• 포인트 단위 처리가 아닌 평면 셀 격자에서 작동함으로써 계산 효율성을 극대화하고 처리 오버헤드를 감소시킨다.
• 곡선을 고려한 기하형태(원통)가 평면 전용 접근보다 곡면이 우세한 환경에서 더 나은 궤적 추정 성능을 제공함을 입증한다.

제안 방법

• CAPE는 640×480 깊이 영상을 평면 셀 격자로 나누어 각 셀이 법선 벡터를 저장하고 영역 확장(region growing)에 사용한다.
• 영역 확장은 셀 법선의 히스토GRAM을 기반으로 하여 픽셀 단위 처리 없이도 효율적인 평면 및 원통 세그먼트 군집화를 가능하게 한다.
• 형태 분류는 주성분 분석(PCA)을 통해 수행되며, 한 주성분에 대해 분산이 낮은 세그먼트는 평면으로, 주된 축이 뚜렷한 세그먼트는 원통으로 식별된다.
• 원통 피팅은 순차적 RANSAC에 통합된 직접 선형 최소제곱 해법을 통해 빠르고 정확한 매개변수 추정이 가능하도록 구현된다.
• 경계 정밀화는 동일한 셀 격자를 사용하여 고비용의 픽셀 수준 연산 없이도 세그먼트 경계를 근사한다.
• 자세 최적화 프레임워크 내에서 원통 매개변수를 확률적으로 모델링하여 잔차 계산에서 불확실성 인식 가중치를 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 깊이 영상에서 평면과 원통을 동시에 추출하는 빠르고 저지연의 방법이 곡면이 우세한 환경에서 시각적 오도메트리 성능을 향상시킬 수 있는가?
• RQ2 확률적 RGB-D 오도메트리 프레임워크에 원통 기하형태를 통합할 경우, 평면 전용 방법과 비교해 궤적 추정 정확도에 어떤 영향을 미치는가?
• RQ3 부드러운 곡면이 우세한 환경(예: 터널)에서 곡선을 고려한 기하형태(원통)를 사용할 경우 평면 전용 피팅 대비 성능 향상은 어느 정도인가?
• RQ4 CAPE의 계산 효율성은 PEAC와 같은 최신 평면 추출 방법과 비교해 어떻게 되는가? 특히 지연 일관성과 처리량 측면에서 어떻게 비교되는가?
• RQ5 셀 기반 격자 구조의 사용이 해상도 손실을 초래할 정도로 성능에 영향을 미치는가? 그러나 내성과 속도 유지 측면에선 어느 정도 영향을 미치는가?

주요 결과

• CAPE는 단일 CPU 코어에서 640×480 깊이 영상의 평균 처리 속도가 300 Hz이며, 장면에 따라 PEAC 대비 4~10배 빠른 성능을 기록한다.
• CAPE는 약 3 ms의 일관된 지연을 보이며, PEAC는 장면에 따라 변동성이 큰 처리 시간을 보여, CAPE의 지연 일관성은 뛰어나다.
• 터널 및 나선형 계단과 같은 원통형 장면에서 CAPE는 원통 기하형태를 사용함으로써 절대 궤적 오차(ATE)를 각각 1.8 m(터널) 및 0.7 m(나선형 계단)로 감소시켰으며, PEAC의 4.9 m 및 4.2 m보다 뚜렷이 뛰어나다.
• 요가 매트 시퀀스에서는 CAPE에서 원통 기하형태를 도입함으로써 모든 평면 가중치 설정에서 ATE가 일관되게 감소하였으며, 최적 성능은 α_plane=0.01 및 α_cylinder=0.1일 때 관찰되었다.
• 비원통형 장면(예: fr1_desk, fr1_360)에서는 CAPE가 PEAC와 유사한 성능을 보이며, 일부 경우에서 약간의 성능 저하가 발생했지만 표준 환경에서의 성능 손실이 없음을 시사한다.
• 시각적 비교를 통해 CAPE는 곡면에서의 불안정한 평면 피팅을 효과적으로 억제함을 입증하였으며, PEAC는 왜곡되고 불안정한 평면 세그먼트를 생성하는 반면, CAPE는 정확하게 원통 기하형태를 포착함을 확인할 수 있었다.