[논문 리뷰] Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence

Dylan Campbell, Lars Petersson외 2명|arXiv (Cornell University)|2017. 09. 27.

Robotics and Sensor-Based Localization참고 문헌 43인용 수 8

한 줄 요약

이 논문은 SE(3) 공간에서 분기 및 결합 검색을 사용하여 동시에 카메라 자세 추정과 2D-3D 특징 대응을 위한 전역 최적 방법을 제안한다. 여기에는 내측자 수에 대한 새로운 기하학적 경계가 포함되어 있으며, 자세 사전 정보 없이도 전역 최적성을 보장하며, 합성 및 실세계 데이터셋에서 국소 및 전역 기반 방법보다 뛰어난 성능을 보인다. 특히 고도로 풍부한 외부 환경에서 약한 대응 관계가 존재하는 경우에도 유의미한 성능을 발휘한다.

ABSTRACT

Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D point-set is an important task for many computer vision applications. Perspective-n-Point (PnP) solvers are routinely used for camera pose estimation, provided that a good quality set of 2D-3D feature correspondences are known beforehand. However, finding optimal correspondences between 2D key-points and a 3D point-set is non-trivial, especially when only geometric (position) information is known. Existing approaches to the simultaneous pose and correspondence problem use local optimisation, and are therefore unlikely to find the optimal solution without a good pose initialisation, or introduce restrictive assumptions. Since a large proportion of outliers are common for this problem, we instead propose a globally-optimal inlier set cardinality maximisation approach which jointly estimates optimal camera pose and optimal correspondences. Our approach employs branch-and-bound to search the 6D space of camera poses, guaranteeing global optimality without requiring a pose prior. The geometry of SE(3) is used to find novel upper and lower bounds for the number of inliers and local optimisation is integrated to accelerate convergence. The evaluation empirically supports the optimality proof and shows that the method performs much more robustly than existing approaches, including on a large-scale outdoor data-set.

연구 동기 및 목표

• 초기 자세나 대응 관계가 없는 상황에서 동시에 카메라 자세와 2D-3D 특징 대응을 추정하는 문제를 해결하기 위해.
• 국소 최적화 방법의 한계를 극복하기 위해, 국소 최소값에 갇히기 쉬우며 양호한 초기화 없이 실패하는 방법들에 대비하여.
• 자세 사전 정보가 필요 없이도 진정한 최적해로 수렴을 보장하는 전역 최적 해법을 개발하기 위해.
• 오차 함수의 잘라내기 최소화가 아닌 내측자 집합의 크기 최대화를 통해 이상치에 대한 강건성을 향상시키기 위해.
• 오직 기하학적 정보만을 사용하여 대규모이자 무문자 3D 환경에서 신뢰할 수 있는 카메라 재지정을 가능하게 하기 위해.

제안 방법

• 6차원의 SE(3) 카메라 자세 공간에 대한 분기 및 결합 프레임워크를 활용하여 전역 최적성을 보장한다.
• SE(3)의 기하학을 기반으로 내측자 수에 대한 새로운 상한 및 하한 경계를 유도하여, 열악한 영역의 효율적 제거를 가능하게 한다.
• 검색 중에 효과적인 분할과 경계 설정이 가능한 SE(3)의 매개변수화 방식을 사용한다.
• 각 단계에서 더 나은 변환을 발견할 경우 국소 최적화를 통합하여 수렴 속도를 가속화하되, 최적성 보장을 해치지 않는다.
• 효율적인 검색 공간 축소를 위해 구체 기반 경계 ψr 및 ψt, 그리고 전역 경계 Γ와 같은 엄밀한 경계 함수를 사용한다.
• 내측자 임계값 θ = 2°를 사용하며, 카드널리티 최대화를 통해 2D 및 3D 이상자를 자연스럽게 처리한다.

실험 결과

연구 질문

• RQ1 자세 사전 정보가 필요 없이도 동시에 카메라 자세와 대응 문제에 대해 전역 최적 해를 달성할 수 있는가?
• RQ2 SE(3)의 기하학적 구조를 활용하여 내측자 수에 대한 엄밀한 경계를 어떻게 도출할 수 있는가? 이를 통해 분기 및 결합 검색의 속도를 어떻게 향상시킬 수 있는가?
• RQ3 오차 최소화 접근 방식에 비해 내측자 집합의 크기 최대화가 강건성과 최적성 측면에서 뛰어나다고 할 수 있는가?
• RQ4 약한 또는 모호한 대응 관계가 존재하는 실세계 대규모 외부 환경 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ5 국소 방법이 나쁜 초기화 또는 높은 이상자 비율로 인해 실패할 경우, 이 방법은 진정으로 올바른 카메라 자세를 신뢰성 있게 복원할 수 있는가?

주요 결과

• GOPAC는 Data61/2D3D 데이터셋에서 모든 프레임에 대해 100% 내측자 재현율과 100% 성공률를 기록했으며, RANSAC 및 국소 방법을 모두 압도했다.
• 중앙값 이동 오차는 2.30 m, 중앙값 회전 오차는 2.08°였으며, 중앙값 실행 시간은 477초로, 계산 비용이 크지만 높은 정확도를 입증했다.
• 자르기 적용된 GOPAC(30초)는 단지 45%의 성공률를 기록했으며, 최적 결과를 얻기 위해 전체 전역 검색이 필수적임을 시사했다.
• 2000만 번과 28000만 번의 반복을 수행한 RANSAC는 어느 프레임에서도 정확한 자세로 수렴하지 못했으며, 회전 오차는 약 180°에 가까웠다.
• SoftPOSIT와 BlindPnP는 지식 기반 자세를 사전으로 제공받았음에도 불구하고 모든 이미지에서 실패했으며, 카메라 뒤편에 있는 3D 점을 처리할 수 없고, 파노라마 이미지를 지원하지 못하기 때문이다.
• 지표가 제공된 모든 경우에서 이 방법은 전역 최적해를 성공적으로 해결했으며, 약한 대응 관계와 높은 이상자 비율에 대해서도 강건함을 입증했다.