[논문 리뷰] Robust Camera Location Estimation by Convex Programming

Onur Özyeşil, Amit Singer|arXiv (Cornell University)|2014. 11. 29.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 5

한 줄 요약

이 논문은 구조에서 운동을 통한 카메라 위치 추정을 위한 강건한 방법을 제안하며, 볼록 프로그래밍을 활용하여 노이즈가 많거나 이상치로 오염된 쌍별 방향 측정치를 다룹니다. 특히 최소 제곱이 아닌 제곱이 아닌 편차(LUD) 솔버를 사용하여, 평행 강성 이론과 두 단계의 접근 방식—강건한 방향 추정 이후 볼록 최적화—을 통해 부분적으로 오염된 데이터에서도 정확한 카메라 위치 복원을 달성합니다. 이는 실제 인터넷 사진 컬렉션에서 기존 방법들보다 정확도와 안정성 면에서 뛰어난 성능을 보입니다.

ABSTRACT

$3$D structure recovery from a collection of $2$D images requires the estimation of the camera locations and orientations, i.e. the camera motion. For large, irregular collections of images, existing methods for the location estimation part, which can be formulated as the inverse problem of estimating $n$ locations $\mathbf{t}_1, \mathbf{t}_2, \ldots, \mathbf{t}_n$ in $\mathbb{R}^3$ from noisy measurements of a subset of the pairwise directions $\frac{\mathbf{t}_i - \mathbf{t}_j}{\|\mathbf{t}_i - \mathbf{t}_j\|}$, are sensitive to outliers in direction measurements. In this paper, we firstly provide a complete characterization of well-posed instances of the location estimation problem, by presenting its relation to the existing theory of parallel rigidity. For robust estimation of camera locations, we introduce a two-step approach, comprised of a pairwise direction estimation method robust to outliers in point correspondences between image pairs, and a convex program to maintain robustness to outlier directions. In the presence of partially corrupted measurements, we empirically demonstrate that our convex formulation can even recover the locations exactly. Lastly, we demonstrate the utility of our formulations through experiments on Internet photo collections.

연구 동기 및 목표

• 노이즈가 있거나 이상치로 오염된 쌍별 방향 측정치가 존재하는 상황에서 기존 카메라 위치 추정 방법의 불안정성을 해결하기 위해.
• 평행 강성 이론을 사용하여 카메라 위치 추정 문제의 잘 정의된 인스턴스를 완전히 특성화하기 위해.
• 실세계 이미지 컬렉션에서 이상치 방향이 존재하더라도 정확성을 유지하는 강건한 볼록 최적화 기반 방법을 개발하기 위해.
• 구조에서 운동의 볼던 조정을 위한 고품질의 초기화를 가능하게 하기 위해 정확한 카메라 위치 추정을 제공하기 위해.

제안 방법

• 이 방법은 두 단계의 파이프라인을 도입합니다: 첫째, 잘못 식별된 점 대응으로 인한 오차를 완화하는 강건한 쌍별 방향 추정 단계입니다.
• 둘째, 방향 측정 오차의 L1 노름을 최소화하는 볼록 최적화 공식—이를 최소 제곱이 아닌 편차(LUD) 솔버로 명명합니다—을 통해 이상치에 대한 강건성을 향상시킵니다.
• LUD 솔버는 볼록 프로그램으로 공식화되어 노이즈가 있는 쌍별 방향 벡터로부터 3차원 카메라 위치를 추정하며, 전역 최적성과 안정성을 보장합니다.
• 이 방법은 평행 강성 이론과의 이론적 연결을 활용하여 신뢰할 수 있는 추정을 위한 잘 정의된 이미지 부분집합을 식별합니다.
• 사전 처리 단계에서 가장 큰 최대 평행 강성 성분을 추출하여 수치적 안정성을 향상시키고 오류 전파를 줄입니다.
• 이 방법은 실제 인터넷 사진 컬렉션에서 평가되었으며, 최종 3차원 구조는 볼던 조정을 통해 정밀하게 다듬어졌습니다.

실험 결과

연구 질문

• RQ1 카메라 위치 추정 문제는 어떤 조건에서 잘 정의되어 있으며, 이를 평행 강성 이론을 통해 어떻게 특성화할 수 있는가?
• RQ2 방향 측정치가 일부 이상치에 의해 오염된 경우, 볼록 최적화 공식이 카메라 위치의 정확한 복원을 달성할 수 있는가?
• RQ3 이상치 조건 하에서 기존 방법들인 CLS, SDR, 1DSfM와 비교해 제안된 LUD 솔버는 강건성과 정확도 면에서 어떻게 성능을 내는가?
• RQ4 강건한 방향 추정과 볼록 프로그래밍이 함께 작용할 때, 구조에서 운동 파ipelines의 초기화 품질은 어느 정도 향상될 수 있는가?

주요 결과

• LUD 솔버는 방향 측정치의 최대 50%가 오염된 경우에도 카메라 위치의 정확한 복원을 달성하며, CLS나 SDR와 같은 다른 솔버에서는 관찰되지 않는 능력입니다.
• 실험 결과에 따르면, LUD 솔버는 CLS, SDR, 1DSfM 방법보다 이상치 비율이 높을수록 훨씬 더 정확한 카메라 위치 추정을 제공합니다.
• Piazza del Popolo 및 Yorkminster과 같은 실세계 데이터셋에서, 볼던 조정 이후 LUD 솔버는 CLS 방법 대비 이동 오차를 최대 80%까지 감소시켰습니다.
• LUD 솔버의 계산 비용은 CLS 및 1DSfM와 비슷하게 약간 높을 뿐이며, Vienna Cathedral(10,000+ 이미지)와 같은 대규모 데이터셋에서도 총 실행 시간이 10분 이내입니다.
• 강건한 방향 추정과 LUD 솔버의 조합은 그림 6에서 보여지다시피 최소 3개의 카메라에서 관측 가능한 고품질의 3차원 구조를 생성했습니다.
• LUD 솔버는 PCA 기반 기준선 및 기존 볼록 솔버보다 정확도와 이상치 방향에 대한 강건성 면에서 모두 뛰어난 성능을 보였습니다.