[논문 리뷰] Trifocal Relative Pose from Lines at Points and its Efficient Solution

Ricardo Fabbri, Timothy Duff외 9명|arXiv (Cornell University)|2019. 03. 23.

Advanced Vision and Imaging참고 문헌 65인용 수 6

한 줄 요약

이 논문은 세 점과 한 줄 또는 세 점과 두 줄을 포함하는 두 가지 최소 트리포칼 상대 자세 문제를 위한 새로운 해법 MINUS를 제안한다. 이는 수치 대수기하 기법을 이러한 일반적인 경우에 특화시켜, 영상 노이즈 상황에서도 강력하고 효율적인 해법을 달성한다. 기존 최첨단 SfM 파이프라인에서 실패하는 도전적인 데이터셋에서도 100% 성공률를 보여준다.

ABSTRACT

We present a method for solving two minimal problems for relative camera pose estimation from three views, which are based on three view correspondences of i) three points and one line and the novel case of ii) three points and two lines through two of the points. These problems are too difficult to be efficiently solved by the state of the art Groebner basis methods. Our method is based on a new efficient homotopy continuation (HC) solver framework MINUS, which dramatically speeds up previous HC solving by specializing HC methods to generic cases of our problems. We characterize their number of solutions and show with simulated experiments that our solvers are numerically robust and stable under image noise, a key contribution given the borderline intractable degree of nonlinearity of trinocular constraints. We show in real experiments that i) SIFT feature location and orientation provide good enough point-and-line correspondences for three-view reconstruction and ii) that we can solve difficult cases with too few or too noisy tentative matches, where the state of the art structure from motion initialization fails.

연구 동기 및 목표

• 균일한 텍스처, 블러, 반복 패턴 등으로 인해 특징이 적거나 모호한 환경에서 전통적인 이중시점 SfM 파이프라인의 실패 문제를 해결한다.
• 혼합된 점-선 특징을 포함하는 트리포칼 자세 문제에서 고차수 비선형 제약 조건으로 인해 기존 그로버 기반 방법이 너무 느려지는 문제를 해결한다.
• 세 시점에서 세 점과 한 개 또는 두 개의 선을 포함하는 최소 문제를 위한 실용적이고 수치적으로 안정적인 해법을 개발하여, 어려운 촬영 조건에서도 강력한 3D 재구성을 가능하게 한다.
• SIFT 특징의 방향 정보가 세 시점 간의 대응 관계를 해석하는 데 안정적인 기하적 특성으로 기능할 수 있음을 보여주며, 신뢰할 수 있는 트리포칼 기하 해석을 가능하게 한다.

제안 방법

• 세 점과 한 줄(3P1L) 및 세 점과 두 줄을 포함하는 두 가지 최소 트리포칼 문제의 일반적인 경우에 특화된 새로운 호모토피 연속(HC) 해법 프레임워크인 MINUS를 도입한다.
• 점 투영과 선 대응 관계에서 유도된 매개변수 방정식을 사용하여 트리포칼 제약 조건을 수립하며, 기준점이 일치하지 않을 경우를 대비해 이동항을 포함한다.
• 기본 행렬의 소수를 사용하여 선 대응 관계 제약 조건을 표현함으로써, 14개의 미지수와 64개의 방정식을 포함하는 다항식 방정식계로 문제를 축소한다.
• 일반적인 그로버 기반 방법의 계산 불가능성을 피하기 위해 수치 대수기하 기법을 활용하여 최종 시스템을 효율적으로 해결한다.
• SIFT 특징의 방향을 안정적인 기하적 특성으로 활용하여 세 시점 간의 대응 관계를 더 명확히 구분한다.
• 영상 노이즈 하에서 시뮬레이션 실험과 도전적인 데이터셋을 활용한 실제 실험을 통해 해법의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 점과 선을 포함하는 최소 트리포칼 상대 자세 문제를 수치 대수기하 기법을 사용해 효율적이고 강력하게 해결할 수 있는가?
• RQ2 3P1L 및 3P2L 최소 문제의 실수 해의 수는 얼마이며, 노이즈 및 특이성 상황에서 어떻게 행동하는가?
• RQ3 SIFT 특징의 방향이 세 시점 재구성에서 대응 관계를 해석하는 데 신뢰할 수 있는 기하적 특성으로 기능할 수 있는가?
• RQ4 제안된 MINUS 해법이 특징이 적거나 모호한 상황에서 기존의 SfM 파이프라인인 COLMAP보다 우수한 성능을 보일 수 있는가?
• RQ5 이 프레임워크는 곡선과 혼합된 특징을 포함하는 다중 시점 기하학에서의 다른 어려운 최소 문제를 일반화하여 해결할 수 있는가?

주요 결과

• 일반적인 구성에서 3P1L 문제의 실수 해는 12개, 3P2L 문제의 실수 해는 16개이며, 이는 수치적 연속 기법으로 검증되었다.
• 시카고 데이터셋에서 MINUS 해법은 회전 오차 0.137°와 이동 오차 0.673°를 기록하여 다른 트리포칼 방법보다 회전 정확도에서 뛰어난 성능을 보였다.
• EPFL 및 암스테르담 티하우스 데이터셋에서, COLMAP가 완전히 실패한 20组의 트리플릿 중 10组에서 성공적으로 자세를 추정했으며, 표준 파이프라인 대비 100% 향상된 성능을 보였다.
• 영상 노이즈 하에서도 수치적으로 강건하며, 극한의 계산 불가능한 구성에서도 안정적인 성능을 유지한다.
• 실제 실험 결과, SIFT 특징의 위치와 방향 정보만으로도 특징이 적거나 모호한 환경에서도 안정적인 세 시점 재구성을 가능하게 함을 확인했다.
• 해법은 OpenMVG SfM 파이프라인에 부분적으로 통합되었으며, COLMAP에의 통합 검토 중이며 실용적 유용성을 입증했다.