[논문 리뷰] A Line-Point Unified Solution to Relative Camera Pose Estimation

Ashraf Qadir, Jeremiah Neubert|arXiv (Cornell University)|2017. 10. 17.

Advanced Vision and Imaging참고 문헌 9인용 수 3

한 줄 요약

이 논문은 세 개의 시점에서 2D 점과 선을 모두 활용하여 상대 카메라 자세 추정을 위한 통합 선형 해법을 제안한다. 삼중 선형 제약 조건을 활용하여 선형 방정식계를 구성하며, 직교성 조건을 통해 회전 행렬의 직교성을 강제함으로써 소수의 특징 대응만으로도 강력하고 효율적인 자세 추정을 달성한다. 이는 소규모 및 대규모 카메라 운동 모두에 대해 공개 데이터셋에서 뛰어난 성능을 보여준다.

ABSTRACT

In this work we present a unified method of relative camera pose estimation from points and lines correspondences. Given a set of 2D points and lines correspondences in three views, of which two are known, a method has been developed for estimating the camera pose of the third view. Novelty of this algorithm is to combine both points and lines correspondences in the camera pose estimation which enables us to compute relative camera pose with a small number of feature correspondences. Our central idea is to exploit the tri-linear relationship between three views and generate a set of linear equations from the points and lines correspondences in the three views. The desired solution to the system of equations are expressed as a linear combination of the singular vectors and the coefficients are computed by solving a small set of quadratic equations generated by imposing orthonormality constraints for general camera motion. The advantages of the proposed method are demonstrated by experimenting on publicly available data set. Results show the robustness and efficiency of the method in relative camera pose estimation for both small and large camera motion with a small set of points and line features.

연구 동기 및 목표

• 3D 시각에서 최소한의 특징 대응만으로 상대 카메라 자세를 추정하는 문제에 대응하기 위해.
• 점과 선 특징을 하나의 공식화에 통합하여 자세 추정의 강력성과 효율성을 향상시키기 위해.
• 세 개의 시점에서 삼중 선형 관계를 활용하여 기하학적 특징을 모두 조합하는 선형 해법 프레임워크를 개발하기 위해.
• 회전 행렬의 직교성을 2차 제약 조건을 통해 강제하여 물리적으로 타당한 해를 보장하기 위해.
• 소규모 및 대규모 운동 스케일을 포함한 다양한 조건에서 공개 데이터셋을 활용해 성능을 평가하기 위해.

제안 방법

• 이 방법은 세 개의 카메라 시점 간의 삼중 선형 관계를 활용하여 점과 선 대응에서 선형 방정식계를 유도한다.
• 해는 계수 행렬의 특이값 분해(SVD)로부터 얻어진 특이 벡터들의 선형 조합으로 공식화된다.
• 선형 조합의 계수는 회전 행렬의 직교성 제약 조건에서 유도된 소수의 2차 방정식을 푸름으로써 결정된다.
• 이 방법은 세 개의 시점에서 유도된 2D 점과 2D 선을 하나의 통합 최적화 프레임워크에 통합한다.
• 알고리즘은 실시간 응용에 적합한 효율성과 수치적 안정성을 갖춘 설계가 되어 있다.
• 반복적 보정 없이 기하 제약 조건에서 직접 해를 유도하므로 빠른 계산이 보장된다.

실험 결과

연구 질문

• RQ1 통합 공식화가 점과 선을 효과적으로 조합하여 상대 카메라 자세 추정에 기여할 수 있는가?
• RQ2 두 가지 유형의 특징을 통합함으로써 최소한의 대응에서도 강력성이 향상되는가?
• RQ3 직교성 제약 조건이 포함된 선형 시스템이 정확하고 안정적인 자세 해를 도출할 수 있는가?
• RQ4 이전 방법들과 비교해 대규모 카메라 운동 상황에서 이 방법의 성능은 어떠한가?
• RQ5 이 방법을 사용할 때 신뢰할 수 있는 자세 추정을 위해 필요한 최소한의 점과 선의 수는 얼마인가?

주요 결과

• 이 방법은 점과 선의 수를 극도로 줄여도 강력한 상대 자세 추정을 달성하여 고밀도 특징에 대한 의존도를 감소시킨다.
• 공개 데이터셋에서 뛰어난 성능을 보이며, 대규모 카메라 운동 상황에서도 유사하게 잘 작동한다.
• 직접 선형 공식화와 최소한의 비선형 해법 덕분에 계산이 매우 효율적이다.
• 점과 선의 통합은 저텍스처 또는 흐린 특징 환경에서 특히 안정성과 정확도를 향상시킨다.
• 세 개의 시점에서 최소 3개의 점과 3개의 선만으로도 높은 정확도를 유지한다.
• 삼중 선형 제약 조건과 직교성 기반 계수 추정 방식이 유효한 회전 행렬을 생성하는 데 효과적임을 확인했다.