[논문 리뷰] Parallel Structure from Motion from Local Increment to Global Averaging

Siyu Zhu, Tianwei Shen외 5명|arXiv (Cornell University)|2017. 02. 28.

Robotics and Sensor-Based Localization참고 문헌 61인용 수 40

한 줄 요약

이 논문은 한 대의 컴퓨터가 처리할 수 있는 메모리 용량을 초월하는 도시 규모의 장면을 고해상도 이미지 수백만 장으로 정확하고 일관된 복원이 가능한 확장 가능하고 병렬적인 구조물에서 운동(SfM) 파이프라인을 제안한다. 국소적 점진적 SfM과 전역적 운동 평균화를 결합함으로써 최신 기술 수준의 정확도를 달성하면서도, 트랙 생성에 대해 최대 메모리 사용량을 34.62GB로 줄이고, 번들 조정에 대해서는 0.53GB로 낮춰 단일 컴퓨터의 한계를 크게 뛰어넘는다.

ABSTRACT

In this paper, we tackle the accurate and consistent Structure from Motion (SfM) problem, in particular camera registration, far exceeding the memory of a single computer in parallel. Different from the previous methods which drastically simplify the parameters of SfM and sacrifice the accuracy of the final reconstruction, we try to preserve the connectivities among cameras by proposing a camera clustering algorithm to divide a large SfM problem into smaller sub-problems in terms of camera clusters with overlapping. We then exploit a hybrid formulation that applies the relative poses from local incremental SfM into a global motion averaging framework and produce accurate and consistent global camera poses. Our scalable formulation in terms of camera clusters is highly applicable to the whole SfM pipeline including track generation, local SfM, 3D point triangulation and bundle adjustment. We are even able to reconstruct the camera poses of a city-scale data-set containing more than one million high-resolution images with superior accuracy and robustness evaluated on benchmark, Internet, and sequential data-sets.

연구 동기 및 목표

• 한 대의 컴퓨터가 처리할 수 있는 메모리 용량을 초월하는 대규모 고해상도 SfM 장면을 복원하는 데 도전하는 것.
• 전체 복원 과정 동안 카메라 간 연결성과 해당 트랙을 유지하여 정확도와 일관성을 향상시키는 것.
• 모든 SfM 단계인 트랙 생성, 국소 SfM, 3차원 삼각측량, 번들 조정을 지원하는 확장 가능하고 병렬적인 파이프라인을 개발하는 것.
• 기존의 전역적 또는 점진적 SfM 방법이 연결성을 포기하거나 드리프팅 오차와 높은 메모리 사용량을 겪는 제약을 극복하는 것.

제안 방법

• 카메라 간 연결성을 유지하면서 SfM 문제를 겹치는 카메라 클러스터로 분할하는 그래프 기반 카메라 클러스터링 알고리즘을 제안한다.
• 각 클러스터 내에서 P3P와 RANSAC를 사용한 비선형 번들 조정을 포함한 국소 점진적 SfM을 적용하여 정확한 상대 카메라 자세를 계산한다.
• 국소 SfM에서 유도된 상대 자세를 전역적 운동 평균화 프레임워크에 통합하여 일관된 전역 카메라 자세를 계산한다.
• 점진적 SfM의 강건성과 운동 평균화의 전역 일관성을 결합한 하이브리드 SfM 제안 방식을 사용한다.
• 클러스터 기반 분해를 통해 트랙 생성, 삼각측량, 번들 조정을 포함한 모든 SfM 파이프라인 단계를 다수의 컴퓨터에 분산한다.
• 각 클러스터를 독립적으로 처리하고 데이터 전송을 최소화함으로써 메모리 사용량을 최적화하여 단일 기계의 한계를 초월한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 확장 가능한 SfM 파이프라인이 단일 컴퓨터의 메모리 한계를 초월하면서도 대규모 복원에서 카메라 간 연결성을 유지할 수 있는가?
• RQ2 점진적 SfM의 정확도를 전역적 운동 평균화와 결합하여 일관되고 전역적으로 최적의 카메라 자세를 도출할 수 있는가?
• RQ3 기존의 전역적 또는 점진적 SfM 접근 방식에 비해 클러스터 기반 분해를 사용할 경우 정확도 및 메모리 효율성에서 어떤 성능 향상이 이루어지는가?
• RQ4 제안된 파이프라인이 수백만 장의 고해상도 이미지를 포함하는 도시 규모의 데이터셋에 얼마나 잘 스케일업되는가?
• RQ5 기준 데이터셋, 인터넷 데이터셋, 순차적 데이터셋에서 제안된 방법이 최신 기술 수준의 SfM 파이프라인과 정확도 및 강건성 면에서 어떻게 비교되는가?

주요 결과

• 제안된 파이프라인이 100만 장이 넘는 50메가픽셀 이미지로 구성된 도시 규모의 데이터셋에서 121만 개의 카메라 자세와 16억 8000만 개의 3차원 점을 성공적으로 복원하여 단일 컴퓨터의 메모리 용량을 크게 초월했다.
• 트랙 생성에 대해 최대 메모리 사용량이 34.62GB로 감소하였고, 번들 조정에 대해서는 0.53GB로 줄었으며, 각각 기존 파이프라인의 메모리 사용량의 2.1%~8.7%와 0.1%~3.8‰에 불과했다.
• City-A 데이터셋(36.15메가픽셀)에서 평균 재투영 오차가 1.18픽셀로 나타나, 원본 고해상도 이미지를 그대로 사용함에도 불구하고 표준 파이프라인을 뛰어넘는 정확도를 달성했다.
• 카메라 클러스터링 단계의 실행 시간이 도시 규모의 데이터셋에서 3.57~11.71분으로 매우 짧아 전체 파이프라인 대비 높은 효율성을 보였다.
• 10台의 컴퓨터를 사용하여 하루 만에 138,000대의 카메라와 1억 개의 3차원 점을 복원하여 대규모 응용 분야에서의 확장성과 실용성을 입증했다.
• 텍스처가 적용된 메esh 모델의 시각적 결과는 높은 기하학적 정밀도와 일관성을 확인하여 복원된 카메라 자세의 정확성을 검증했다.