[논문 리뷰] RPBA -- Robust Parallel Bundle Adjustment Based on Covariance Information

Helmut Mayer|arXiv (Cornell University)|2019. 10. 17.

Advanced Vision and Imaging참고 문헌 37인용 수 6

한 줄 요약

이 논문은 3D 점 교차에서 유도된 공분산 정보로 일致 기반 접근법에서 페널티 파라미터를 대체함으로써 조정이 필요 없이 더 빠르고 안정적인 수렴을 가능하게 하는 강건한 병렬 번들 조정 방법인 RPBA를 제안한다. 고정된 카메라를 이용해 3D 점을 조정하고 그 공분산을 활용함으로써, 최신의 병렬 SfM 방법보다 더 적은 반복 횟수 내에 높은 품질의 결과를 달성한다.

ABSTRACT

A core component of all Structure from Motion (SfM) approaches is bundle adjustment. As the latter is a computational bottleneck for larger blocks, parallel bundle adjustment has become an active area of research. Particularly, consensus-based optimization methods have been shown to be suitable for this task. We have extended them using covariance information derived by the adjustment of individual three-dimensional (3D) points, i.e., "triangulation" or "intersection". This does not only lead to a much better convergence behavior, but also avoids fiddling with the penalty parameter of standard consensus-based approaches. The corresponding novel approach can also be seen as a variant of resection / intersection schemes, where we adjust during intersection a number of sub-blocks directly related to the number of threads available on a computer each containing a fraction of the cameras of the block. We show that our novel approach is suitable for robust parallel bundle adjustment and demonstrate its capabilities in comparison to the basic consensus-based approach as well as a state-of-the-art parallel implementation of bundle adjustment. Code for our novel approach is available on GitHub: https://github.com/helmayer/RPBA

연구 동기 및 목표

• 대규모 구조에서 운동(SfM) 파이프라인에서 번들 조정의 계산 병목 현상을 해결한다.
• 일치 기반 병렬 번들 조정 방법에서 페널티 파라미터 ρ의 수동 조정이 필요 없도록 한다.
• 하위 블록 조정 중 3D 점 교차에서 유도된 공분산 정보를 통합함으로써 수렴 안정성과 정확도를 향상시킨다.
• 스레드 수준의 독립성을 활용하면서도 높은 해의 품질을 유지함으로써 효율적이고 확장 가능한 병렬 처리를 가능하게 한다.
• 점 교차 및 재측정 단계에서 이상치 탐지를 통합하는 강건한 추정 프레임워크를 개발한다.

제안 방법

• 고정된 카메라를 사용하여 3D 점 교차에서 유도된 역공분산 행렬로 일치 기반 번들 조정에서 전역 페널티 가중치(ρ)를 대체한다.
• 하위 블록 간 3D 점의 전방 교차를 수행하여 정밀한 좌표와 완전한 공분산 행렬을 계산한다.
• 공분산 정보를 사용하여 번들 조정 과정에서 연결점(TPs)을 가중치 처리함으로써 ρ가 필요 없도록 한다.
• 잔차 통계 기반으로 이상치를 탐지하고 제거함으로써 교차 과정에서 강건한 추정을 수행한다.
• 보기 그래프(카메라를 노드로, 공유 3D 점을 간선으로)의 클러스터링을 사용하여 블록을 하위 블록으로 분할함으로써 균형 잡힌 로드 분배를 확보한다.
• 스레드 간 3D 점 좌표와 그 공분산을 교환하고 평균화함으로써 결과를 동기화하여 기하학적 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 3D 점 교차에서 유도된 공분산 정보가 일치 기반 병렬 번들 조정에서 페널티 파라미터 ρ를 대체하여 조정 없이 수렴을 향상시킬 수 있는가?
• RQ2 공분산 가중치를 적용한 3D 점을 사용할 경우, 표준 일치 기반 방법과 비교해 수렴 속도와 해의 정확도에 어떤 영향을 미치는가?
• RQ3 교차 기반 이상치 탐지 방식을 통해 강건한 추정이 병렬 번들 조정 파이프라인에 효과적으로 통합될 수 있는가?
• RQ4 제안된 방법이 계산 시간을 크게 줄이면서도 순차적 번들 조정 수준의 해 품질을 유지할 수 있는가?
• RQ5 대규모 SfM 응용에서 스레드 수와 블록 크기가 증가함에 따라 RPBA의 성능은 어떻게 스케일링되는가?

주요 결과

• Dino 데이터셋에서 RPBA는 순차적 처리(155.6초)에서 5개 스레드 병렬 처리(53.1초)로 계산 시간을 단축하여 3.8배의 성능 향상을 달성했다.
• 최종 재투영 오차 σ₀는 순차적 처리(0.41 픽셀)에서 병렬 처리(0.40 픽셀)로 감소하여 정확도가 유사함을 보였다.
• 병렬 및 순차적 해의 분산 비율은 0.983 ± 0.023(중앙값 0.981)이었으며, 이는 해 품질이 유지됨을 확인했다.
• 순차적 및 병렬 접근 방식 간 다수의 카메라에 걸쳐 투영되는 점의 수가 거의 동일하여 강건한 블록 안정성을 나타냈다.
• 공분산에 의한 더 명확한 가중치 설정 덕분에 표준 일치 기반 방법보다 훨씬 적은 반복 횟수 내에 수렴했다.
• 교차 과정에서의 이상치 탐지로 효과적인 강건한 추정이 가능해져 노이즈가 많거나 잘못 매칭된 관측치에 대한 내성력이 향상되었다.