[논문 리뷰] Extreme Relative Pose Estimation for RGB-D Scans via Scene Completion

Zhenpei Yang, Jeffrey Z. Pan외 4명|arXiv (Cornell University)|2018. 12. 31.

Advanced Vision and Imaging참고 문헌 44인용 수 7

한 줄 요약

이 논문은 최소한의 겹침 또는 겹침이 없는 RGB-D 스캔 간의 극단적인 상대 자세 추정을 가능하게 하는 딥러닝 프레임워크를 제안한다. 이는 장면 완성과 자세 추정을 반복적으로 번갈아 수행함으로써 달성된다. 순환 신경망을 통해 기하학적 및 의미적 사전 지식을 활용함으로써, 기존 최고 성능(SOTA)을 달성하며, 겹침이 없는 스캔에 대해서도 의미 있는 자세 추정을 가능하게 한다. 각각 SUNCG, Matterport, ScanNet에서 평균 회전 오차는 79.9°, 87.9°, 81.8°이다.

ABSTRACT

Estimating the relative rigid pose between two RGB-D scans of the same underlying environment is a fundamental problem in computer vision, robotics, and computer graphics. Most existing approaches allow only limited maximum relative pose changes since they require considerable overlap between the input scans. We introduce a novel deep neural network that extends the scope to extreme relative poses, with little or even no overlap between the input scans. The key idea is to infer more complete scene information about the underlying environment and match on the completed scans. In particular, instead of only performing scene completion from each individual scan, our approach alternates between relative pose estimation and scene completion. This allows us to perform scene completion by utilizing information from both input scans at late iterations, resulting in better results for both scene completion and relative pose estimation. Experimental results on benchmark datasets show that our approach leads to considerable improvements over state-of-the-art approaches for relative pose estimation. In particular, our approach provides encouraging relative pose estimates even between non-overlapping scans.

연구 동기 및 목표

• 기존 기능 기반 방법이 부족한 대응점으로 인해 실패하는, 겹침이 거의 없거나 전혀 없는 RGB-D 스캔 간의 상대 자세 추정 과제를 해결한다.
• 기존 방법이 상당한 스캔 겹침을 요구하는 한계를 극복하기 위해, 장면 완성을 기반으로 한 접근 방식을 도입하여 누락된 기하 구조를 추론한다.
• 구조적 사전 지식과 이중 스캔 완성 기반의 반복적 개선을 통해 극단적인 자세 상황에서의 자세 추정 정확도를 향상시킨다.
• 자세 추정과 장면 완성 간의 반복적 개선 과정이 단일 단계 또는 비반복적 접근보다 더 우수한 성능을 낼 수 있음을 보여준다.
• 희소 시점에서의 3D 복원, SLAM 루프 클로징 탐지, 불완전한 스캔을 이용한 퍼즐 조립과 같은 실용적 응용을 가능하게 한다.

제안 방법

• 상대 자세 추정 모듈과 이중 스캔 완성 모듈을 번갈아 수행하는 순환 신경망을 도입하여, 장면 완성과 자세 추정을 반복적으로 개선한다.
• 완성 품질 향상과 매칭의 강건성 향상을 위해 깊이, 표면 법선, 의미 기술자 등의 다중 모odal 표현을 통합한다.
• 스펙트럼 매칭과 강력한 RANSAC 기반 피팅을 통합한 새로운 쌍별 매칭 모듈을 설계하여 노이즈가 많거나 불완전한 예측을 처리한다.
• 현재 자세 추정 결과를 바탕으로 한 스캔을 변환하고 다른 스캔과 융합하여 더 완전한 장면 재구성을 생성함으로써 이중 스캔 완성을 수행한다.
• 완성 결과를 진짜 기하 구조의 대체 자료로 사용하여 상대 자세 네트워크를 보조 학습함으로써 일반화 능력을 향상시킨다.
• 완성과 자세 추정 목표를 통합한 미분 가능한 손실 함수를 사용하여 엔드 투 엔드 네트워크를 훈련시킴으로써 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 장면 완성이 겹침이 거의 없거나 전혀 없는 극단적인 자세 상황에서 상대 자세 추정 성능을 크게 향상시킬 수 있는가?
• RQ2 자세 추정과 장면 완성 간의 반복적, 순환적 개선 과정이 단일 단계 또는 비반복적 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 기존 기능 매칭 방법이 실패하는 비겹침 RGB-D 스캔에 대해 제안된 방법이 상대 자세 추정에 얼마나 효과적인가?
• RQ4 기하학적 및 의미적 사전 지식이 불완전한 스캔 환경에서 장면 완성과 자세 추정 정확도를 얼마나 향상시키는가?
• RQ5 스펙트럼 매칭과 강력한 피팅의 통합이 노이즈가 많거나 불완전한 예측 상황에서 성능을 어떻게 향상시키는가?

주요 결과

• 10% 이상 겹침이 있는 스캔에 대해, SUNCG에서는 평균 회전 오차를 36.6°에서 12.0°로, Matterport에서는 42.0°에서 9.0°로, ScanNet에서는 51.4°에서 30.2°로 감소시켰다.
• 비겹침 스캔에 대해선 각각 SUNCG에서 79.9°, Matterport에서 87.9°, ScanNet에서 81.8°의 평균 회전 오차를 기록했으며, 이는 기대되는 무작위 오차 126.3°보다 훨씬 우수하다.
• 제거 실험 결과, 스캔 완성 모듈을 제거하면 겹침이 있는 스캔에서도 성능이 크게 떨어지며, 이는 그 필수성을 입증한다.
• 순환 모듈을 제거하면 모든 데이터셋에서 성능 저하가 발생하여, 반복적 개선이 정확한 자세 및 완성 결과를 얻는 데 핵심적임을 보여준다.
• 자세 추정의 오차 분포는 90°와 180°에 집중되어 있으며, 이는 실내 환경의 대칭성으로 인한 모호성으로 기대되는 것으로, 관리 가능하다.
• 관측 영역에서 떨어질수록 완성 품질이 저하되나, 이는 반복적 개선 덕분에 완화되며, 특히 겹침이 작은 스캔에서 유의미한 이점을 제공한다.