[논문 리뷰] Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem

Liu Liu, Dylan Campbell외 4명|arXiv (Cornell University)|2020. 03. 15.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 14

한 줄 요약

이 논문은 2D–3D 대응 관계와 6-DoF 카메라 자세를 동시에 추정하는 딥러닝 기반 접근법을 제안한다. 빈도 없는 PnP 문제에서, 두 스트림(PointNet 기반) 네트워크를 사용해 특징을 추출하고, 최적의 운반 이론을 활용한 전역 매칭 모듈을 통해 대응 관계의 점수를 매기며, 이상치를 걸러내는 분류 헤드를 통해 정상값을 선별한다. 이 방법은 기존 방법 대비 최첨단 정확도를 달성하고, 100배 이상의 속도 향상을 이룩하여, 초당 수천 개의 포인트를 엔드 투 엔드로 처리한다.

ABSTRACT

Conventional absolute camera pose via a Perspective-n-Point (PnP) solver often assumes that the correspondences between 2D image pixels and 3D points are given. When the correspondences between 2D and 3D points are not known a priori, the task becomes the much more challenging blind PnP problem. This paper proposes a deep CNN model which simultaneously solves for both the 6-DoF absolute camera pose and 2D--3D correspondences. Our model comprises three neural modules connected in sequence. First, a two-stream PointNet-inspired network is applied directly to both the 2D image keypoints and the 3D scene points in order to extract discriminative point-wise features harnessing both local and contextual information. Second, a global feature matching module is employed to estimate a matchability matrix among all 2D--3D pairs. Third, the obtained matchability matrix is fed into a classification module to disambiguate inlier matches. The entire network is trained end-to-end, followed by a robust model fitting (P3P-RANSAC) at test time only to recover the 6-DoF camera pose. Extensive tests on both real and simulated data have shown that our method substantially outperforms existing approaches, and is capable of processing thousands of points a second with the state-of-the-art accuracy.

연구 동기 및 목표

• 2D–3D 대응 관계가 사전에 알려져 있지 않은 어려운 빈도 없는 PnP 문제를 해결한다.
• 무작위로 정렬된 2D 및 3D 점 집합에서 2D–3D 대응 관계와 6-DoF 카메라 자세를 동시에 회귀하는 딥러닝 프레임워크를 개발한다.
• 자세 사전 지식이나 철저한 탐색에 의존하는 전통적인 기하 기반 방법의 한계를 극복하며, 초기화에 민감하고 느린 문제를 해결한다.
• 딥 러닝 기반 특징 학습과 미분 가능한 매칭을 활용해, 가림과 이상치가 있는 복잡한 시나리오에서도 실시간으로 정확한 카메라 자세 추정을 가능하게 한다.
• 합성 및 실제 세계 데이터셋에서 기존 방법보다 정확도와 추론 속도 면에서 뛰어난 엔드 투 엔드 훈련 가능한 모델을 제공한다.

제안 방법

• 두 스트림(PointNet 유사) 네트워크는 2D 이미지 키포인트와 3D 시나리오 점을 별도로 처리하여 국소 기하학적 구조와 전역 맥락을 캡처하는 점별 딥 특징을 추출한다.
• 전역 특징 매칭 모듈은 최적의 질량 운반 이론(OMT)을 사용해 모든 2D–3D 점 쌍 간의 매칭 가능성 행렬을 계산하며, 미분 가능한 Sinkhorn 레이어를 통해 대응 가능성의 확률을 모델링한다.
• 매칭 가능성 행렬은 신뢰도 순으로 정렬되어 후보 대응 관계의 우선순위 목록을 생성한다.
• 우선순위 목록에 이상치 탐지 CNN을 적용하여 이상치를 걸러내고 대응 관계의 품질을 향상시킨다.
• 테스트 시점에 필터링된 정상값 매칭을 기반으로 표준 P3P-RANSAC 솔버를 사용해 최종 카메라 자세를 복원한다.
• 전체 네트워크는 진짜 정상값 쌍의 매칭 확률을 최대화하는 손실 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 알려진 대응 관계나 자세 사전 지식이 없이도 딥 네트워크가 빈도 없는 PnP 문제에서 2D–3D 대응 관계와 6-DoF 카메라 자세를 동시에 추정할 수 있는가?
• RQ2 두 스트림 특징 추출 네트워크는 교차 모odal 매칭을 위해 구분 가능한 국소 및 전역 기하학적 구조를 효과적으로 포착할 수 있는가?
• RQ3 미분 가능한 최적 운반 이론을 사용해 유의미한 2D–3D 매칭을 우선순위로 정렬하는 소프트 대응 행렬을 효과적으로 학습할 수 있는가?
• RQ4 후처리 분류 헤드는 매칭 가능성 행렬에만 의존하는 것보다 이상치 탐지 정확도를 향상시키는가?
• RQ5 제안된 방법은 높은 정확도와 실시간 성능을 동시에 달성하여 기존 기하 기반 방법보다 빠르고 더 견고한가?

주요 결과

• 제안된 방법은 합성 데이터셋(ModelNet40, NYU-RGBD)과 실제 세계 데이터셋(MegaDepth) 모두에서 최첨단 정확도를 달성하며, 기존의 빈도 없는 PnP 방법들을 크게 능가한다.
• MegaDepth 데이터셋에서, 고이상치 비율 조건 하에서 SoftPOSIT 및 GOSMA 대비 중앙값 회전 오차를 50% 이상 감소시키고, 이동 오차를 60% 이상 감소시켰다.
• 초당 1,000개 이상의 포인트를 처리하여, 다음으로 빠른 기준(GOSMA) 대비 100배 이상의 속도 향상을 달성했으며, 이는 종종 매칭에 수분이 소요되는 기준 대비 빠른 성능을 의미한다.
• 엔드 투 엔드 훈련 기반으로 다양한 시나리오와 포인트 클라우드 밀도에 대해 강력한 일반화 성능을 보였으며, 심한 가림과 노이즈 조건에서도 안정적으로 작동했다.
• 절단 분석 결과, 전역 매칭 모듈과 이상치 분류 헤드 모두 고성능을 달성하는 데 필수적임을 확인했으며, 후자는 가짜 긍정을 최대 40%까지 감소시켰다.
• 낮은 정상값 비율(예: 0.1%) 조건에서도 RANSAC 기반 방법이 샘플링 부족으로 실패하는 상황에서도 효과적으로 작동하여 뛰어난 견고성을 입증했다.