[논문 리뷰] Extreme Relative Pose Network under Hybrid Representations

Zhenpei Yang, Siming Yan외 1명|arXiv (Cornell University)|2019. 12. 25.

Robotics and Sensor-Based Localization참고 문헌 47인용 수 4

한 줄 요약

이 논문은 360도 이미지, 2차원 레이아웃, 평면 파편 등의 하이브리드 표현을 사용하여 겹치지 않거나 겹치는 부분이 적은 스캔에 대해 RGB-D 기반 상대 자세 추정 방법을 제안한다. 이는 적응형 특징 추출과 장면 복원을 가능하게 한다. 전역에서 국소로의 매칭 파이프라인을 활용하여 기하 제약 조건을 이용해 初기 자세를 정밀하게 보정하며, ScanNet에서 상대 자세 추정 성능이 최신 기술 수준(SOTA)을 달성하여 최상위 1위의 회전/이동 오차가 각각 28.6°/0.90m를 기록한다. 또한 소수의 뷰로도 3D 재구성 품질을 크게 향상시킨다.

ABSTRACT

In this paper, we introduce a novel RGB-D based relative pose estimation approach that is suitable for small-overlapping or non-overlapping scans and can output multiple relative poses. Our method performs scene completion and matches the completed scans. However, instead of using a fixed representation for completion, the key idea is to utilize hybrid representations that combine 360-image, 2D image-based layout, and planar patches. This approach offers adaptively feature representations for relative pose estimation. Besides, we introduce a global-2-local matching procedure, which utilizes initial relative poses obtained during the global phase to detect and then integrate geometric relations for pose refinement. Experimental results justify the potential of this approach across a wide range of benchmark datasets. For example, on ScanNet, the rotation translation errors of the top-1/top-5 predictions of our approach are 28.6/0.90m and 16.8/0.76m, respectively. Our approach also considerably boosts the performance of multi-scan reconstruction in few-view reconstruction settings.

연구 동기 및 목표

• 겹치는 부분이 적거나 전혀 없는 RGB-D 스캔 간의 상대 자세 추정 문제를 해결하기 위해, 전통적인 특징 매칭이 부족한 겹침으로 인해 실패하는 상황을 다루는 것.
• 스캔 복원을 위해 상호 보완적인 다수의 3D 표현을 활용하여 극단적인 상대 자세 추정의 강건성과 정확도를 향상시키는 것.
• 모호한 자세 추정 상황에서 다중 가설 출력을 가능하게 하여 실세계 로봇 및 재구성 응용 분야에서의 신뢰성을 높이는 것.
• 전역 초기화 이후 국소 보정 단계에서 기하 제약 조건(예: 평행성, 공면성 등)을 통합하여 자세 정확도를 향상시키는 것.

제안 방법

• 360도 이미지, 2차원 레이아웃, 평면 파편을 조합한 하이브리드 표현을 사용하여 완성되지 않거나 겹치지 않는 스캔를 보완함으로써 더 rich하고 적응형 특징 학습이 가능하도록 하는 것.
• 완성된 스캔에서 추출한 특징을 바탕으로 스펙트럴 매칭을 적용한 전역 매칭 모듈을 사용하여 초기 상대 자세 후보를 생성하는 것.
• 기하 관계(예: 평행 평면, 거리 등)를 탐지하고 강력한 노름을 사용하여 통합함으로써 初기 자세를 보정하는 국소 보정 모듈을 활용하는 것.
• 반복적 보정이 가능하고 다중 출력 자세를 지원함으로써 모호성을 모델링할 수 있는 순차적 전역-국소 파이프라인을 도입하는 것.
• 소수의 뷰에서부터 일관된 다중 스캔 정렬을 가능하게 하기 위해 MRF-SFM의 자세 최적화기와 이 방법을 통합하는 것.
• 왜곡된 스캔 쌍을 사용하여 기하 관계 예측 정확도를 평가하고, 부정확한 예측에도 불구하고 높은 성능을 유지할 수 있도록 강력한 필터링을 적용하는 것.

실험 결과

연구 질문

• RQ1 360도 이미지, 2차원 레이아웃, 평면 파편 등의 하이브리드 3D 표현은 단일 표현 방법에 비해 겹치지 않는 스캔에서 상대 자세 추정 성능을 향상시키는가?
• RQ2 초기 자세가 불확실한 상황에서 기하 제약 조건을 활용한 전역-국소 매칭 파이프라인이 자세 보정에 얼마나 효과적인가?
• RQ3 소수의 뷰 설정에서 다중 상대 자세 예측이 다중 스캔 3D 재구성 품질을 얼마나 향상시키는가?
• RQ4 강한 겹침이 없는 환경에서 예측된 기하 관계(예: 평행성, 공면성 등) 통합이 자세 보정에 얼마나 기여하는가?
• RQ5 제안된 방법은 겹침이 있는 경우와 없는 경우 양쪽에서 최신 기술 수준의 접근법을 초월하는가?

주요 결과

• ScanNet에서 제안된 방법은 최상위 1위의 회전/이동 오차가 각각 28.6°/0.90m를 기록하며, SOTA 기준 34.1°/0.93m를 초월한다.
• 최상위 5개 예측 결과에서는 ScanNet에서 오차가 16.8°/0.76m로 감소하여 자세의 모호성을 다루는 데 다중 가설 출력의 유용성을 입증한다.
• SUNCG에서 제안된 방법은 최상위 1위 오차를 18.1°/0.16m로 줄였고, SOTA 기준 31.1°/0.27m보다 우수하다.
• 국소 보정 모듈은 다양한 데이터셋에서 오차를 15–20% 감소시켜 초기 전역 추정치를 향상시키는 데 효과적임을 보여준다.
• 5개 스캔의 소수 뷰 재구성에서, 최상위 5개 출력을 사용한 방법은 평균 오차 1.81°/0.09m를 기록하여 RobustRecons(12.3°/0.26m)와 Fine-to-Coarse(68.6°/1.43m)를 모두 압도한다.
• 기하 관계 예측은 공면 관계에 대해 93%의 정확도를 달성하였고, 강력한 필터링 덕분에 예측이 완벽하지 않은 상황에서도 높은 성능을 유지한다.