[논문 리뷰] ShapeFit and ShapeKick for Robust, Scalable Structure from Motion

Thomas Goldstein, Paul Hand외 3명|arXiv (Cornell University)|2016. 08. 07.

Advanced Vision and Imaging참고 문헌 24인용 수 8

한 줄 요약

이 논문은 적대적 이상치가 존재하는 상황에서도 쌍방향 방향 데이터로부터 정확한 카메라 위치를 복원할 수 있는, 볼록 최적화 기반의 강건하고 확장 가능한 구조에서 운동 추론(Structure from Motion) 방법인 ShapeFit와 ShapeKick을 소개한다. 이 방법은 이전 방법 대비 10배 빠른 속도로 최신 기술 수준의 재구성 정확도를 달성하며, 증명 가능한 복원 보장을 제공하고 수치적 구현이 효율적이다.

ABSTRACT

We introduce a new method for location recovery from pair-wise directions that leverages an efficient convex program that comes with exact recovery guarantees, even in the presence of adversarial outliers. When pairwise directions represent scaled relative positions between pairs of views (estimated for instance with epipolar geometry) our method can be used for location recovery, that is the determination of relative pose up to a single unknown scale. For this task, our method yields performance comparable to the state-of-the-art with an order of magnitude speed-up. Our proposed numerical framework is flexible in that it accommodates other approaches to location recovery and can be used to speed up other methods. These properties are demonstrated by extensively testing against state-of-the-art methods for location recovery on 13 large, irregular collections of images of real scenes in addition to simulated data with ground truth.

연구 동기 및 목표

• 쌍방향 상대적 방향에서의 전역적 위치 복원이라는 구조에서 운동 추론 파이프라인의 핵심적 병목 현상을 해결하기 위해, 특히 대응 오류가 발생하는 상황에서도 효과적으로 작동하도록 하는 것.
• 통계적 오차 분포 가정에 의존하지 않고도, 반복적인 구조로 인해 흔히 발생하는 극단적 이상치에 강건한 방법을 개발하는 것.
• 쌍방향 방향의 상당한 비율이 손상된 경우에도 정확한 카메라 위치 복원을 보장하는 볼록 최적화 프레임워크를 설계하는 것.
• 고성능의 계산 효율성과 확장성을 확보하여 대규모 이미지 컬렉션에서 실시간 또는 근접 실시간 성능을 달성하는 것.
• 기존 파이프라인과의 통합이 가능하고 다른 SfM 방법의 가속화에 기여할 수 있는 유연한 수치적 프레임워크를 제공하는 것.

제안 방법

• ShapeFit는 관측된 상대적 방향과 추정된 상대적 방향 간 잔차의 L1 노름을 최소화하는 볼록 최적화 프로그램으로 위치 복원 문제를 설정하여, 적대적 손상 조건 하에서도 정확한 복원을 가능하게 한다.
• 이 방법은 준정방형(Semidefinite) 완화와 저질서 행렬 복원 프레임워크를 활용하여 쌍방향 상대적 방향에서 카메라 위치를 추정하며, 특정 조건 하에서 정확한 복원 보장을 이론적으로 확보한다.
• ShapeKick은 ShapeFit의 빠른 1차 알고리즘 구현으로, 가속화된 프록시미티 기반 경사 하강법을 사용하여 이전 방법 대비 10배 빠른 속도를 달성한다.
• 프레임워크는 1dSfM과 LUD를 통한 이상치 필터링을 통합하여 강건성을 향상시키며, 다른 방법과 조합하여 전체 성능을 향상시킬 수 있다.
• 이 방법은 알려진 카메라 회전을 기반으로 한 회전 고정 형식을 사용하여 이동 추정 문제를 볼록 프로그램으로 단순화한다.
• 이 방법은 모듈러하고 조합 가능한 구조로 설계되어 기존 SfM 파이프라인과의 통합이 가능하며, 다양한 초기 상대 자세 추정기와 호환된다.

실험 결과

연구 질문

• RQ1 정확한 복원 보장을 확보하면서도, 상당한 비율의 데이터가 적대적으로 손상된 경우에도 볼록 최적화 접근이 쌍방향 상대적 방향에서 카메라 위치를 정확히 복원할 수 있는가?
• RQ2 정확도나 강건성에 손상 없이, 강건한 위치 복원의 계산 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 실제 환경에서 반복적인 구조나 영상 촬영의 모호성으로 인한 극단적 이상치가 존재할 경우, 증명 가능한 복원 보장을 얼마나 유지할 수 있는가?
• RQ4 대규모이고 비정규적인 이미지 컬렉션에서 ShapeFit와 ShapeKick의 재구성 오차와 런타임 측면에서 최신 기술 수준의 방법과의 성능 비교는 어떠한가?
• RQ5 제안된 프레임워크는 다른 구조에서 운동 추론 알고리즘의 가속화에 사용될 수 있으며, 기존 이상치 필터링 기법과의 상호작용은 어떻게 이루어지는가?

주요 결과

• ShapeFit는 부분적으로 손상된 쌍방향 상대적 방향 데이터로부터도 정확한 카메라 위치 복원을 달성하며, 적대적 손상 조건 하에서도 이론적 보장을 제공한다.
• ShapeFit의 빠른 1차 구현인 ShapeKick은 이전 최신 기술 수준의 방법 대비 최소 10배 빠른 속도를 기록하면서도 유사한 재구성 정확도를 유지한다.
• 13개의 대규모 실세계 데이터셋에서 ShapeFit와 ShapeKick은 기존 최고 성능 방법과 유사한 중앙값 재구성 오차를 달성했으며, LUD는 평균 오차는 낮추나 중앙값 오차는 높게 나타났다.
• 1dSfM를 통한 이상치 필터링은 ShapeFit와 LUD의 강건성을 향상시켜 로마 포럼과 노트르담 성당 등의 데이터셋에서 복원 오차를 2~10배 감소시켰다.
• 이 방법은 영상 촬영의 모호성과 반복적인 구조로 인한 대응 실패의 주요 원인에 대해 강건하며, 실세계 SfM 파이프라인에서 실용적인 유용성을 입증했다.
• 이 프레임워크는 매우 확장 가능하고 효율적이며, 비볼록 및 비강건한 대안들보다 특히 대규모 데이터셋(피카딜리 826장, 빈 대성당 826장)에서 런타임 성능가 훨씬 뛰어나다.