[논문 리뷰] Bundle Adjustment Revisited

Yu Chen, Yisong Chen외 1명|arXiv (Cornell University)|2019. 12. 09.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 15

한 줄 요약

이 논문은 대규모 3D 재구성에 대한 번들 조정(BA)의 종합적인 리뷰와 발전을 제시하며, 메모리 및 계산 병목 현상을 해결하기 위해 Douglas-Rachford 분할 방법을 사용한 분산 BA 프레임워크를 제안한다. 보편적 분할을 통한 효율적이고 확장 가능한 해법을 유도함으로써, 도시 규모의 재구성에서 정확도와 속도를 향상시키는 동시에 카메라 및 3D 점 파라미터의 병렬 최적화를 가능하게 한다.

ABSTRACT

3D reconstruction has been developing all these two decades, from moderate to medium size and to large scale. It's well known that bundle adjustment plays an important role in 3D reconstruction, mainly in Structure from Motion(SfM) and Simultaneously Localization and Mapping(SLAM). While bundle adjustment optimizes camera parameters and 3D points as a non-negligible final step, it suffers from memory and efficiency requirements in very large scale reconstruction. In this paper, we study the development of bundle adjustment elaborately in both conventional and distributed approaches. The detailed derivation and pseudo code are also given in this paper.

연구 동기 및 목표

• 기존의 및 분산형 번들 조정에 대한 체계적이고 실용적인 이론적, 실증적 유도를 제공한다.
• 대규모 3D 재구성에서 기존 BA의 메모리 및 계산 비효율성을 해결한다.
• 보편적 분할 방법을 사용하여 도시 규모의 재구성에 효율적으로 확장 가능한 분산 BA 프레임워크를 제안한다.
• 정확도와 계산 효율성 측면에서 기존 방법과의 성능을 비교한다.
• 실시간 및 대규모 시각 재구성에 대한 향후 연구를 위한 확장 가능하고, 강건하며, 분산된 BA의 기초를 마련한다.

제안 방법

• 초점 거리 카메라 모델과 재투영 오차 최소화를 사용하여 기존 번들 조정 문제를 유도한다.
• 계산 비용을 줄이기 위해 슈어 보완과 조절된 공액 기울기 방법을 사용한 Levenberg-Marquardt 알고리즘을 적용한다.
• BA 문제를 독립적인 부분문제로 분해하기 위해 Douglas-Rachford 분할 방법을 사용한 분산 공식을 도입한다.
• 부근 연산자를 사용하여 부분문제를 해결한다: 하나는 카메라 파artition 별로 독립적인 재투영 오차를 위한 것이고, 다른 하나는 파artition 간 일관성을 위한 것이다.
• ADMM 유사 분할을 사용하여 카메라 및 3D 점 최적화를 분리함으로써 분산 노드 간 병렬 계산을 가능하게 한다.
• 부근 연산자의 명시적 업데이트 규칙을 유도한다: (1) 카메라 파artition 별로 국소 SfM 문제를 푸는 것, 및 (2) 가시성 제약 조건을 사용하여 뷰 간 3D 점 추정치를 평균화하는 것.

실험 결과

연구 질문

• RQ1 대규모 3D 재구성에서 메모리 및 계산 비용을 줄이기 위해 번들 조정를 어떻게 재구성할 수 있는가?
• RQ2 정확도를 저하시키지 않고도 확장 가능하고 효율적인 번들 조정을 위한 분산 최적화 프레임워크는 무엇인가?
• RQ3 직접적 방법과 비교해 볼 때 Douglas-Rachford 분할 방법은 분산 BA의 수렴성과 안정성에 어떻게 기여하는가?
• RQ4 분산 번들 조정에서 부근 연산자의 이론적 및 실용적 이점은 무엇인가?
• RQ5 분산 BA는 도시 규모 재구성 작업에서 정확도와 효율성 측면에서 기존 BA를 능가할 수 있는가?

주요 결과

• 제안된 Douglas-Rachford 분할을 사용한 분산 BA 프레임워크는 대규모 3D 재구성 작업에서 뛰어난 확장성과 효율성을 달성한다.
• 부근 연산자는 전역 BA 문제를 카메라 파artition 별로 독립적이고 병렬화 가능한 부분문제로 분해할 수 있게 하여 분산 계산을 가능하게 한다.
• 밀도 높은 헤시안 저장을 피하고, 일관된 3D 점 업데이트를 위한 희박한 국소 최적화를 사용함으로써 메모리 사용량을 줄인다.
• 조절된 공액 기울기 해법과 조건 수가 낮은 부분문제를 통해 수렴성과 안정성이 향상됨을 입증한다.
• 특히 메모리 및 계산이 제한적인 도시 규모 재구성에서, 분산 방법은 정확도와 속도 측면에서 기존 BA를 능가한다.
• 이론적 분석을 통해 분산 공식이 전역 재투영 오차를 최소화하는 해에 수렴함과 동시에 뷰 간 일관성을 유지함을 확인한다.