[논문 리뷰] Linear Global Translation Estimation with Feature Tracks

Zhaopeng Cui, Nianjuan Jiang외 2명|arXiv (Cornell University)|2015. 03. 06.

Advanced Vision and Imaging참고 문헌 39인용 수 19

한 줄 요약

이 논문은 특징 트랙을 사용하여 글로벌 카메라 이동 추정을 위한 직접 선형 방법을 제안하며, 장면 점 좌표를 제거하여 효율적이고 확장 가능하며 강건한 추정을 가능하게 하는 새로운 위치 제약을 유도한다. 문제를 L1-정규화된 선형 시스템으로 공식화함으로써, 공선 운동 및 약한 연결이 있는 이미지 시퀀스에서 높은 정확도와 이상치에 대한 강건성을 달성한다. 이는 이전의 글로벌 방법들보다 속도와 내성 면에서 뛰어나다.

ABSTRACT

This paper derives a novel linear position constraint for cameras seeing a common scene point, which leads to a direct linear method for global camera translation estimation. Unlike previous solutions, this method deals with collinear camera motion and weak image association at the same time. The final linear formulation does not involve the coordinates of scene points, which makes it efficient even for large scale data. We solve the linear equation based on $L_1$ norm, which makes our system more robust to outliers in essential matrices and feature correspondences. We experiment this method on both sequentially captured images and unordered Internet images. The experiments demonstrate its strength in robustness, accuracy, and efficiency.

연구 동기 및 목표

• 이미지 간 연결이 약하거나 카메라 운동이 공선일 때 구조에서 카메라 이동 추정을 수행하는 데 있어 발생하는 과제를 해결하기 위해.
• 공선 운동에서 척도 모호성으로 인해 실패하는 본질 행렬 기반 방법의 한계를 극복하기 위해.
• 명시적인 장면 점 좌표를 회피하고 특징 트랙으로 직접 작동하는 확장 가능하고 효율적이며 강건한 방법을 개발하기 위해.
• 본질 행렬과 특징 대응에서의 이상치에 대한 강건성을 L1-노름 최적화를 통해 향상시키기 위해.
• 희소 매칭이 있는 순차적 또는 무작위 이미지 컬렉션에서도 정확한 글로벌 레지istration을 가능하게 하기 위해.

제안 방법

• 3차원 장면 점과 두 카메라 중심이 형성하는 삼각형을 기반으로 한 새로운 선형 위치 제약을 유도하며, 이는 카메라 트리플릿 제약에서 특징 트랙으로 일반화된다.
• 제약 식에서 장면 점 좌표를 제거함으로써, 3차원 구조에 의존하지 않는 카메라 위치에 대한 직접 선형 공식화를 얻는다.
• 유럽거리(유클리드 거리)를 장면 점과 그들의 시점 레이 사이의 거리로 정의한 기하학적 오차 측도를 목적 함수로 사용함으로써, 대수적 오차 최소화보다 강건성을 향상시킨다.
• 결과로 생긴 선형 시스템을 L1-노름 최소화를 통해 해결함으로써 본질 행렬과 특징 대응에서의 이상치에 대한 강건성을 향상시킨다.
• 이중 단계 보정: 먼저 방향 일致성 기반으로 이상치 본질 행렬을 필터링하고, 그 후 Kneip 등(2011)의 방법을 사용해 고정된 방향으로 이동 벡터를 보정한다.
• 수렴을 위한 폐쇄형 업데이트를 제공하는 ADMM 기반 최적화 프레임워크를 사용하여 L1-정규화된 시스템을 효율적으로 해결한다.

실험 결과

연구 질문

• RQ1 명시적인 3차원 장면 점 좌표에 의존하지 않고 글로벌 이동 추정을 위한 직접 선형 방법을 도출할 수 있는가?
• RQ2 특징 트랙과 본질 행렬만을 사용하여 공선 카메라 운동에서의 척도 모호성을 어떻게 해결할 수 있는가?
• RQ3 L2 대비 L1-노름 최적화를 사용함으로써 본질 행렬과 특징 대응에서의 이상치에 대한 강건성을 크게 향상시킬 수 있는가?
• RQ4 이 방법은 희소 매칭이 있는 순차적 또는 인터넷 이미지와 같은 약한 연결된 이미지 데이터를 어느 정도 잘 처리할 수 있는가?
• RQ5 어려운 실세계 데이터셋에서 기존의 글로벌 SfM 접근법과 비교해 본문에서 제안한 방법의 정확도와 속도는 어떠한가?

주요 결과

• 제안된 방법은 인터넷 데이터셋에서 [Özyesil과 Singer(2015)]와 유사한 중앙값 초기 카메라 위치 오차를 달성하였고, [Wilson과 Snavely(2014)]보다 낮은 오차를 기록하였다.
• L1 최적화 버전의 방법은 L2 대비 우수한 성능을 보이며, 이상치 처리에 있어 L1 정규화의 효과를 입증하였다.
• 최적화된 인크리멘탈 SfM 시스템(Bundler 기반)보다 약 10배 빠르게 실행되며, 다른 글로벌 방법들보다도 더 빠르다.
• 1DSfM와 트리플릿 기반 방법이 실패하는 경우에도, 순차적 스트리트 데이터나 다중 시점 세비야 이미지와 같은 약한 이미지 연결을 가진 장면을 성공적으로 재구성하였다.
• 공선 카메라 운동 조건에서도 높은 정확도를 유지하였으며, 본질 행렬 기반 접근법에서 흔히 발생하는 특이성 문제를 피하였다.
• 최종 번들 조정 결과는 모든 방법에서 유사하게 나타났으며, 제안된 방법이 강력한 초도 추정을 제공한다는 점을 확인하였다.