[논문 리뷰] Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction

Benjamin Hepp, Matthias Nießner외 1명|arXiv (Cornell University)|2017. 05. 25.

Advanced Vision and Imaging인용 수 26

한 줄 요약

Plan3D는 비행 시간과 충돌 제약 조건을 고려하면서도 정보 수확량을 최대화하도록 시점과 궤적을 최적화하는 허브로터를 사용한 공중 3D 재구성에 대한 엔드 투 엔드 시스템을 제안한다. 계층적 부피 표현 방식과 하위모듈 최적화를 활용하여 희소하고 영향력 있는 시점을 선택함으로써, 오목 영역과 세부 사항을 포함한 복잡한 건물 기하학의 고품질 재구성을 가능하게 하며, 정규 패턴과 이전 최고 수준의 방법들보다 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce a new method that efficiently computes a set of viewpoints and trajectories for high-quality 3D reconstructions in outdoor environments. Our goal is to automatically explore an unknown area, and obtain a complete 3D scan of a region of interest (e.g., a large building). Images from a commodity RGB camera, mounted on an autonomously navigated quadcopter, are fed into a multi-view stereo reconstruction pipeline that produces high-quality results but is computationally expensive. In this setting, the scanning result is constrained by the restricted flight time of quadcopters. To this end, we introduce a novel optimization strategy that respects these constraints by maximizing the information gain from sparsely-sampled view points while limiting the total travel distance of the quadcopter. At the core of our method lies a hierarchical volumetric representation that allows the algorithm to distinguish between unknown, free, and occupied space. Furthermore, our information gain based formulation leverages this representation to handle occlusions in an efficient manner. In addition to the surface geometry, we utilize the free-space information to avoid obstacles and determine collision-free flight paths. Our tool can be used to specify the region of interest and to plan trajectories. We demonstrate our method by obtaining a number of compelling 3D reconstructions, and provide a thorough quantitative evaluation showing improvement over previous state-of-the-art and regular patterns.

연구 동기 및 목표

• 소비자용 허브로터의 제한된 비행 시간을 고려하여 대규모이고 복잡한 건물을 고품질로 재구성하는 데 도전하는 데 목적을 두며.
• 일반적인 격자형 또는 원형 비행 패턴의 한계를 극복하여, 종종 가림을 입는 영역이나 오목 영역을 포착하지 못하고 스테레오 매칭 품질을 최적화하지 못하는 문제를 해결하고자 한다.
• 초기 거친 스캔을 기반으로 충돌 방지 및 정보 최대화 시점을 갖춘 자동화된 엔드 투 엔드 시스템을 개발하고자 한다.
• 근사 카메라 모델과 하위모듈 최적화를 사용하여 계산 효율성과 재구성 품질 사이의 균형을 이루고자 한다.
• 최소한의 사용자 간섭으로 건물 규모의 장면을 자율적으로 스캔하고 기하학적 세부 사항과 가림 영역의 커버리지 향상을 달성하고자 한다.

제안 방법

• 계층적 부피 표현 방식을 사용하여 미지 영역, 자유 영역, 점유 영역를 구분함으로써 안전하고 정보 기반의 궤적 계획을 가능하게 한다.
• 정보 수확량(IG)을 최대화하고 이동 거리를 최소화함으로써 계산 가능성을 확보하기 위해 시점 선택 문제를 하위모듈 최적화 문제로 공식화한다.
• 근사 카메라 모델을 사용하여 시점 기여도를 분리함으로써 각 후보 시점에 대해 독립적으로 기대되는 정보 수확량을 효율적으로 계산할 수 있다.
• 이동을 알려진 자유 영역로 제한함으로써 충돌 방지 궤적을 계획하며, 실행 중 전적으로 자율성을 확보한다.
• SfM 및 MVS 파이프라인의 도메인 지식, 예를 들어 정면 평행 시점과 최적 기준선을 선호하는 것과 같은 요소를 통합하여 매칭 품질을 향상시킨다.
• 파이프라인은 초기 거친 스캔을 처리하고 최적의 시점을 계산한 후, 표준 SfM 및 MVS 파이프라인을 사용하여 최종 고해상도 재구성을 수행한다.

실험 결과

연구 질문

• RQ1 비행 시간과 안전 제약 조건을 고려하면서도 장면 커버리지와 기하학적 세부 사항을 최대화하는 공중 3D 재구성의 자동 시점 투어 계획은 어떻게 수행할 수 있는가?
• RQ2 근사 카메라 모델을 사용한 하위모듈 최적화가 정규 비행 패턴과 비교해 유사하거나 더 뛰어난 고품질 재구성을 얼마나 잘 달성할 수 있는가?
• RQ3 초기 거친 스캔 후 최적화된 고해상도 촬영을 수행하는 이중 단계 스캔 방식은 단일 촬영 또는 정규 패턴 방법에 비해 뛰어난 결과를 낼 수 있는가?
• RQ4 시스템은 건물 규모의 장면에서 오목한 문과 복도, 지붕 등 복잡한 기하학적 구조와 가림 영역을 어떻게 처리하는가?
• RQ5 시점 계획이 최종 재구성 품질에 미치는 영향은 무엇이며, 특히 세밀한 기하학적 세부 사항과 텍스처 정밀도 측면에서 어떤가?

주요 결과

• Plan3D는 합성 및 실세계 장면에서의 정량적 평가에서 정규 격자형 패턴과 이전 최고 수준의 방법을 모두 능가하며, 더 뛰어난 커버리지와 재구성 품질을 달성한다.
• 이 방법은 종종 전통적인 상공 스캔 패턴이 간과하는 오목한 문, 屋根, 지붕 등 복잡한 건축적 특징을 성공적으로 포착한다.
• 하위모듈 최적화와 근사 카메라 모델을 활용한 시점 선택은 영향력 있는 시점을 효율적으로 계산하여 이동 거리를 줄이고 미지 영역의 관측량을 최대화한다.
• 어려운 조명 조건, 예를 들어 포치 아래에서도 고정밀한 기하학적 및 텍스처 세부 사항을 재현한 최종 재구성 결과를 도출한다.
• 초기 거친 스캔 후 최적화된 궤적 계획을 수행하는 이중 단계 접근 방식은 단일 단계 또는 정규 패턴 방법보다 훨씬 뛰어난 재구성을 이룬다. 다만, 이는 최대 60분의 오프라인 계산을 수반한다.
• 이 방법은 르네상스 성당, 현대식 사무실 빌딩, 역사적 구조물 등 다양한 환경에서 뛰어난 안정성을 보이며, 모든 테스트 케이스에서 일관된 재구성 품질 향상을 보였다.