[논문 리뷰] Efficient Outlier Removal in Large Scale Global Structure-from-Motion

Fei Wen, Danping Zou외 2명|arXiv (Cornell University)|2018. 08. 09.

Advanced Vision and Imaging참고 문헌 25인용 수 4

한 줄 요약

이 논문은 다시정렬 기하학의 차원 감소를 활용하여 대규모 글로벌 구조-운동에서의 이상치 제거를 위한 두 가지 효율적인 방법을 제안한다. 이 방법들은 선형 프로그래밍을 통해 해결하는 볼록 완화된 ℓ₁ 최소화와 반복적으로 재가중된 ℓ₀ 근사화를 사용하며, ℓ₁ 방법보다 3배 이상 빠른 성능을 달성하면서도 실제 및 시뮬레이션 데이터셋에서 일致 집합의 품질을 유지하거나 향상시킨다.

ABSTRACT

This work addresses the outlier removal problem in large-scale global structure-from-motion. In such applications, global outlier removal is very useful to mitigate the deterioration caused by mismatches in the feature point matching step. Unlike existing outlier removal methods, we exploit the structure in multiview geometry problems to propose a dimension reduced formulation, based on which two methods have been developed. The first method considers a convex relaxed $\ell_1$ minimization and is solved by a single linear programming (LP), whilst the second one approximately solves the ideal $\ell_0$ minimization by an iteratively reweighted method. The dimension reduction results in a significant speedup of the new algorithms. Further, the iteratively reweighted method can significantly reduce the possibility of removing true inliers. Realistic multiview reconstruction experiments demonstrated that, compared with state-of-the-art algorithms, the new algorithms are much more efficient and meanwhile can give improved solution. Matlab code for reproducing the results is available at extit{https://github.com/FWen/OUTLR.git}.

연구 동기 및 목표

• 특징 매칭에서의 오류로 인해 3D 재구성 품질이 떨어지는 대규모 글로벌 구조-운동에서 이상치 제거 문제를 해결하기 위해.
• 대규모 문제에 대해 계산 비용이 과도한 기존의 ℓ₁ 최소화와 같은 방법보다 더 빠르고 더 견고한 알고리즘을 개발하기 위해.
• 정확도를 유지하면서도 계산 복잡도를 차원 감소를 통해 줄여, 내부점 식별과 이상치 제거의 정확성을 유지하기 위해.
• 실제 세계의 대규모 3D 재구성 파이프라인에 실용적으로 적용 가능한 견고한 이상치 제거를 가능하게 하기 위해.

제안 방법

• 다시정렬 기하학의 구조를 활용하여 최적화 문제의 변수 수를 줄이는 차원 감소 형태를 제안한다.
• 단일 선형 프로그래밍(LP)을 통해 해결하는 볼록 완화된 ℓ₁ 최소화 문제를 도입하여 빠른 계산을 가능하게 한다.
• 이deal ℓ₀ 최소화를 근사적으로 해결하기 위해 반복적으로 재가중된 알고리즘을 개발한다.
• 이상치 잔차를 모델링하기 위해 비음수 슬랙 변수 s를 사용하며, 최대 일致 집합 문제를 희박 최적화 프레임워크로 재구성한다.
• 실제 데이터셋에서의 안정성 향상과 과적합 감소를 위해 실험에서 깊이 제약 조건(κ=6)을 적용한다.
• ℓ₀ 근사화에서 희박성과 수렴성을 향상시키기 위해 매개변수 q∈{0.1,0.2,0.5}를 사용한 재가중 전략을 도입한다.

실험 결과

연구 질문

• RQ1 다시정렬 기하학에서의 차원 감소가 글로벌 SfM 이상치 제거의 계산 복잡도를 크게 감소시킬 수 있는가?
• RQ2 제안된 ℓ₁ 기반 방법은 최신 기술의 ℓ₁ 방법과 비교해 성능과 일치 집합 품질 측면에서 어떻게 다른가?
• RQ3 반복적으로 재가중된 ℓ₀ 근사화 방법은 효율성을 유지하면서 더 많은 진짜 내부점을 유지할 수 있는가?
• RQ4 제안된 방법들은 대규모 실세계 SfM 데이터셋에서 기존의 결정론적 및 무작위 알고리즘보다 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 ℓ₁ 기반 방법(알고리즘 1)은 최신 기술의 ℓ₁ 방법보다 3배 이상 빠르며, 변수 수가 크게 감소한다 (예: 캐서드랄 데이터셋에서 327,201에서 96,976으로).
• 알고리즘 1은 재투영 오차의 루트 평균 제곱 오차(RMSE)에서 유사한 성능(예: 캐서드랄 데이터셋에서 1.28 픽셀)을 달성하면서도 ℓ₁ 방법보다 더 적은 이상자를 제거한다.
• K=2 반복을 사용한 반복적으로 재가중된 방법(알고리즘 2)는 ℓ₁ 방법과 유사한 일치 집합 크기를 확보하지만, 런타임에서 ℓ₁ 방법보다 3배 빠르게 작동한다.
• 하우스 데이터셋에서 알고리즘 1은 재투영 RMSE를 4.76 픽셀에서 1.28 픽셀로 감소시켜 효과적인 이상자 제거를 입증한다.
• 알고리즘 2는 다른 방법들보다 훨씬 적은 이상자를 제거하지만, 높은 내부점 유지 능력을 유지하여 진짜 내부점을 제거할 위험을 줄인다.
• 합성 실험에서는 알고리즘이 10회 이내에 수렴하며, 알고리즘 2는 2~5회 이내에 양호한 성능을 달성한다.