[논문 리뷰] Robust Uncertainty-Aware Multiview Triangulation

Seong Hun Lee, Javier Civera|arXiv (Cornell University)|2020. 08. 04.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 6

한 줄 요약

이 논문은 이분법 RANSAC를 두뷰 포인트 매칭에서의 이방성 제거와 중점법을 통합한 강력하고 효율적인 다시보기 삼각측량 방법을 제안한다. 또한 가우스-뉴턴 최적화를 통한 국소 최적화와, 내측점 수, 평균 재투영 오차, 최대 기울기 각도를 기반으로 한 학습된 불확실성 모델을 포함한다. 이 방법은 높은 이방성 비율 조건에서도 최신 기술 수준의 효율성과 정확도를 달성하며, 시뮬레이션된 데이터의 보간을 통해 테스트 시점에서 빠른 불확실성 추정을 가능하게 한다.

ABSTRACT

We propose a robust and efficient method for multiview triangulation and uncertainty estimation. Our contribution is threefold: First, we propose an outlier rejection scheme using two-view RANSAC with the midpoint method. By prescreening the two-view samples prior to triangulation, we achieve the state-of-the-art efficiency. Second, we compare different local optimization methods for refining the initial solution and the inlier set. With an iterative update of the inlier set, we show that the optimization provides significant improvement in accuracy and robustness. Third, we model the uncertainty of a triangulated point as a function of three factors: the number of cameras, the mean reprojection error and the maximum parallax angle. Learning this model allows us to quickly interpolate the uncertainty at test time. We validate our method through an extensive evaluation.

연구 동기 및 목표

• 실세계 컴퓨터 비전 응용에서 흔히 발생하는 높은 이방성 비율을 처리할 수 있는 강력하고 효율적인 다이뷰 삼각측량 방법을 개발하는 것.
• 가우스-뉴턴과 같은 국소 최적화 방법을 통한 반복적인 내측점 집합 정련을 통합하여 정확도와 강성능을 향상시키는 것.
• 핵심 기하학적 요소와 오차 요소를 기반으로 한 데이터 기반 모델을 사용하여 계산 효율적으로 3D 불확실성 추정을 수행하는 것.
• 광범위한 합성 시뮬레이션에서 학습된 불확실성 모델을 통해 테스트 시점에서 빠른 불확실성 추정을 가능하게 하는 것.

제안 방법

• 높은 이방성 비율 조건에서 효율성을 높이기 위해 두 뷰 RANSAC에 중점법 기반 사전 스크리닝 단계를 도입하여 나쁜 두 뷰 매칭을 조기에 거부한다.
• 내측점 집합의 반복적 정련을 수행하며, DLT, 선형 최소 제곱법(LinLS), 가우스-뉴턴(GN)의 세 가지 국소 최적화 방법을 비교한다. 특히 GN에 대한 효율적인 야코비안 계산 방법을 적용한다.
• 삼각측량된 점의 3D 불확실성을 세 가지 요소의 함수로 모델링한다: 내측점 카메라 수, 평균 재투영 오차, 최대 기울기 각도.
• 합성 데이터 기반으로 회귀 모델을 학습하여 테스트 시점에서 보간을 통해 불확실성 추정을 빠르게 수행하며, 최적화 재실행 없이도 가능하게 한다.
• 모든 구성 요소를 통합된 알고리즘으로 구현하여 먼저 이방성을 거부하고, 그 다음 해를 정련하며, 마지막으로 불확실성을 추정하는 순서를 따른다.
• 강력한 초기화 및 내측점의 반복적 재가중을 통해 최적화 단계의 수렴성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 높은 이방성 비율 조건에서 다이뷰 삼각측량에 대해 두 뷰 RANSAC의 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 DLT, LinLS, 가우스-뉴턴 중에서 다이뷰 삼각측량에서 정확도와 계산 비용 사이의 최적 균형을 이루는 국소 최적화 방법은 무엇인가?
• RQ3 기하학적 요소와 오차 지표를 기반으로 한 데이터 기반 모델이 삼각측량된 점의 3D 불확실성을 정확하게 예측할 수 있는가?
• RQ4 제안된 불확실성 추정 방식은 포인트 클라우드 노이즈 제거나 강력한 로컬라이제이션과 같은 후속 작업에 어떻게 기여하는가?

주요 결과

• 사전 스크리닝을 통한 제안된 RANSAC는 특히 높은 이방성 비율 조건에서 계산 시간을 크게 줄이며, 90% 이방성 비율에서 최대 5.56배 빠른 RANSAC 처리 시간(점당)을 달성하여 이전 방법을 능가한다.
• 가우스-뉴턴 최적화 방법은 DLT 대비 2D 재투영 오차에서 뚜렷한 향상을 보이며, 최대 오차 감소 비율에서 최대 1.85배의 성능 향상을 기록한다. 특히 기울기 값이 낮거나 노이즈가 높은 조건에서 유의미한 개선 효과가 있다.
• 시뮬레이션 데이터에서 학습된 불확실성 모델은 테스트 시점에서 보간을 통해 신속하고 정확한 불확실성 추정을 가능하게 하며, 3D 점에 대한 신뢰도 추정을 신뢰성 있게 제공한다.
• 이 방법은 최신 기술 수준의 효율성과 강성능을 달성하였으며, RANSAC 성능이 최대 3.74배 빠르게(예: [43] 대비) 작동하고, 높은 이방성 오염 조건에서도 뛰어난 정확도를 유지한다(예: 90% 이방성 비율).
• RANSAC, 반복적 내측점 정련, 불확실성 모델링의 조합은 Dinosaur, Corridor, Notre Dame와 같은 합성 및 실제 데이터셋에서 검증된 바와 같이 더 정확하고 신뢰할 수 있는 3D 재구성 결과를 도출한다.