[논문 리뷰] A Minimal Closed-Form Solution for Multi-Perspective Pose Estimation using Points and Lines

Pedro Miraldo, Tiago Dias외 1명|arXiv (Cornell University)|2018. 07. 26.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 점과 선의 하이브리드 2D-3D 대응 관계를 사용하여 다중 시점 카메라 자세 추정을 위한 최초의 최소 폐쇄형 해법을 제안한다. 두 가지 솔버를 제안한다: 두 점과 한 줄에 대한 솔버(4차 방정식을 유도하며 폐쇄형 해법을 제공함)와 한 점과 두 줄에 대한 솔버(8차 방정식을 유도하여 반복적 해법이 필요함), 이는 자율주행과 같은 노이즈가 많고 동적인 환경에서도 높은 계산 효율성과 강건성을 달성한다.

ABSTRACT

We propose a minimal solution for pose estimation using both points and lines for a multi-perspective camera. In this paper, we treat the multi-perspective camera as a collection of rigidly attached perspective cameras. These type of imaging devices are useful for several computer vision applications that require a large coverage such as surveillance, self-driving cars, and motion-capture studios. While prior methods have considered the cases using solely points or lines, the hybrid case involving both points and lines has not been solved for multi-perspective cameras. We present the solutions for two cases. In the first case, we are given 2D to 3D correspondences for two points and one line. In the later case, we are given 2D to 3D correspondences for one point and two lines. We show that the solution for the case of two points and one line can be formulated as a fourth degree equation. This is interesting because we can get a closed-form solution and thereby achieve high computational efficiency. The later case involving two lines and one point can be mapped to an eighth degree equation. We show simulations and real experiments to demonstrate the advantages and benefits over existing methods.

연구 동기 및 목표

• 감시, 자율주행차, 동작 캡처와 같이 흔한 다중 시점 카메라 시스템에서 하이브리드 점-선 자세 추정을 위한 최소 솔버의 부족을 해결한다.
• 노이즈가 많고 이상치가 많은 환경에서 희박하거나 혼합된 특징만 이용 가능한 상황에서 점과 선을 모두 활용하여 강건성을 향상시키는 최소 해법을 개발한다.
• 유사 문제에 대해 기존의 반복적 방법과 대비하여 2점-1선 케이스에 대해 폐쇄형 해법을 제공함으로써 고도의 계산 효율성을 확보한다.
• 3카메라 다중 시점 시스템을 활용한 실제 경로 재구성 사례를 통해 제안된 방법의 실용적 유용성을 입증한다.
• 기존 중심 카메라를 위한 최소 솔버를 하이브리드 특징 유형을 통합함으로써 다중 시점 시스템으로 일반화하여 유연성과 강건성을 향상시킨다.

제안 방법

• 고정된 다중 시점 카메라를 정렬된 투사 카메라 집합으로 모델링하여 모든 시점에서 통합된 자세 추정을 가능하게 한다.
• 2D-3D 대응 관계의 대수적 변환을 통해 2점-1선 케이스를 4차 다항식 방정식으로 재구성하여 근을 찾는 방식으로 폐쇄형 해법을 가능하게 한다.
• 1점-2선 케이스를 8차 다항식 방정수로 매핑하여 더 높은 대수적 복잡도로 인해 반복적 해법이 필요하다.
• 이상치가 존재하는 환경에서도 강건하게 자세를 추정하기 위해 RANSAC를 사용하며, 폐쇄형 솔버의 효율성을 활용한다. (이상치 기준: 30%)
• 개별 카메라를 MATLAB 캘리브레이션 툴박스를 사용해 캘리브레이션하고, CAD 모델에서 유도된 시스템 수준의 변환을 적용하여 다중 카메라 데이터를 정렬한다.
• VisualSFM에서 유도한 점 대응과 Line3D++에서 유도한 선 대응을 통합하여 실제 다중 카메라 시퀀스에서 종단 간 3D 경로 재구성에 기여한다.

실험 결과

연구 질문

• RQ1 2D-3D 점과 선 대응 관계를 사용하여 다중 시점 카메라 자세 추정을 위한 최소 폐쇄형 해법을 유도할 수 있는가?
• RQ2 다중 시점 시스템에서 순수 점 기반 또는 선 기반 솔버와 비교해 하이브리드 점-선 솔버의 대수적 복잡도는 어떻게 되는가?
• RQ3 노이즈가 많고 동적인 조건에서 하이브리드 특징(점과 선)을 사용할 경우 강건성과 정확도 향상에 기여하는 성능 향상은 어느 정도인가?
• RQ4 기존의 점만 또는 선만 사용하는 최소 솔버보다 제안된 솔버가 실제 다중 카메라 경로 추정 작업에서 더 우수한 성능을 보일 수 있는가?
• RQ5 2점-1선 케이스에 대해 폐쇄형 해법이 반복적 방법보다 계산적으로 더 효율적인가? 실제 적용 시에도 높은 정확도를 유지하는가?

주요 결과

• 2점-1선 케이스는 4차 다항식 방정식을 유도하여 고도의 계산 효율성을 확보한 폐쇄형 해법을 가능하게 한다.
• 1점-2선 케이스는 8차 다항식 방정식을 유도하여 반복적 방법이 필요하지만, 여전히 이 하이브리드 구성에 대한 최소 솔버를 제공한다.
• 3카메라 시스템을 활용한 실제 실험에서, 제안된 방법은 점만 또는 선만 사용하는 솔버보다 상당히 낮은 회전 및 변위 오차를 기록했다.
• RANSAC 기준을 원래 값의 50%에서 150%까지 다양하게 변화시켜도 일관된 정확도와 안정성을 유지하며 강건한 성능을 보였다.
• 606장의 실외 이미지에서 2230개의 3D 점과 5814개의 3D 선을 사용한 경로 재구성 결과, 제안된 솔버는 기존 방법과 비교해 유사하거나 더 우수한 결과를 도출하였으며, 재구성된 경로의 정밀도가 매우 높았다.
• 제안된 솔버는 최신 중심 카메라 솔버를 일반화하며, 모든 카메라가 정렬되어 있을 경우 기존에 알려진 최고의 투사 카메라 솔버와 동일한 해를 복원한다.