[논문 리뷰] A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset

Jin Liu, Shunping Ji|arXiv (Cornell University)|2020. 03. 02.

Advanced Vision and Imaging참고 문헌 35인용 수 9

한 줄 요약

이 논문은 3D 복원을 위한 대규모 다중 시야 항공 기반 벤치마크인 WHU 데이터셋을 소개하고, 상업적 소프트웨어 대비 16배 빠른 효율성과 더 낮은 메모리 사용량을 바탕으로 최신 기술 수준의 성능을 달성하는 새로운 순환 인코더-디코더 네트워크인 RED-Net을 제안한다. 이 방법은 무제한 깊이 해상도를 갖춘 전체 해상도 깊이 맵 생성이 가능하며, 미세조정 없이 다양한 데이터셋에 잘 일반화된다.

ABSTRACT

A great deal of research has demonstrated recently that multi-view stereo (MVS) matching can be solved with deep learning methods. However, these efforts were focused on close-range objects and only a very few of the deep learning-based methods were specifically designed for large-scale 3D urban reconstruction due to the lack of multi-view aerial image benchmarks. In this paper, we present a synthetic aerial dataset, called the WHU dataset, we created for MVS tasks, which, to our knowledge, is the first large-scale multi-view aerial dataset. It was generated from a highly accurate 3D digital surface model produced from thousands of real aerial images with precise camera parameters. We also introduce in this paper a novel network, called RED-Net, for wide-range depth inference, which we developed from a recurrent encoder-decoder structure to regularize cost maps across depths and a 2D fully convolutional network as framework. RED-Net's low memory requirements and high performance make it suitable for large-scale and highly accurate 3D Earth surface reconstruction. Our experiments confirmed that not only did our method exceed the current state-of-the-art MVS methods by more than 50% mean absolute error (MAE) with less memory and computational cost, but its efficiency as well. It outperformed one of the best commercial software programs based on conventional methods, improving their efficiency 16 times over. Moreover, we proved that our RED-Net model pre-trained on the synthetic WHU dataset can be efficiently transferred to very different multi-view aerial image datasets without any fine-tuning. Dataset are available at http://gpcv.whu.edu.cn/data.

연구 동기 및 목표

• 딥 러닝 모델을 위한 3D 복원 분야에서 대규모 고품질 다중 시야 항공 데이터셋의 부족 문제를 해결하기 위해.
• 도시 규모 복원에 적합한 기존 딥 러닝 기반 MVS 방법의 높은 GPU 메모리 요구량과 제한된 확장성 문제를 해결하기 위해.
• 대규모 고해상도 지표면 복원에 적합한 경량이며 효율적이고 정확한 MVS 네트워크를 개발하기 위해.
• 미세조정 없이도 합성 항공 데이터에서 사전 훈련한 모델이 실제 항공 데이터셋으로의 제로샷 전이 학습을 가능하게 하기 위해.
• 딥 러닝 기반 방법이 정확도와 효율성 측면에서 기존 상용 MVS 파이프라인을 능가할 수 있음을 입증하기 위해.

제안 방법

• WHU 데이터셋은 정확한 카메라 파arameter를 갖춘 실제 다중 시야 항공 영상에서 유도된 고정밀 3D 디지털 표면 모델을 기반으로 합성되었다.
• 이 데이터셋은 6.7×2.2 km²의 시뮬레이션 항공 영상, 지상 진실 깊이 맵, 디스parity 맵, 카메라 파라미터를 포함하며, 단일 GPU 훈련을 위한 서브셋도 포함되어 있다.
• RED-Net은 깊이 수준 간 비용 볼륨을 순차적으로 정규화하여 특징 표현을 향상시키는 순환 인코더-디코더 아키텍처를 사용한다.
• 네트워크는 잔차 연결과 게이트드 순환 단위(GRUs)를 활용한 2D 완전 컨volution 라이트 프레임워크를 사용하여 비용 볼륨 내 장거리 의존성을 모델링한다.
• 모델은 내림샘플링 없이 무제한 깊이 해상도를 유지하고 전체 해상도 깊이 맵을 출력하여 고정밀 복원을 가능하게 한다.
• 모델은 합성 WHU 데이터셋에서 훈련되고, München 및 DTU와 같은 실제 항공 데이터셋에서 평가되며, 제로샷 전이가 수행된다.

실험 결과

연구 질문

• RQ1 합성된 대규모 다중 시야 항공 데이터셋이 지표면 복원을 위한 딥 러닝 기반 MVS 네트워크의 성능과 일반화 능력을 향상시킬 수 있는가?
• RQ2 순환 인코더-디코더 아키텍처는 대규모 MVS 작업에서 비용 볼륨 정규화 및 깊이 예측 정확도를 어떻게 향상시키는가?
• RQ3 딥 러닝 기반 MVS 네트워크가 대규모 도시 복원에서 정확도와 추론 속도 측면에서 상용 소프트웨어를 능가할 수 있는가?
• RQ4 합성 항공 데이터셋에서 사전 훈련한 모델이 미세조정 없이도 실제 다양한 항공 데이터셋으로 일반화되는 정도는 어느 정도인가?
• RQ5 제안된 RED-Net은 최신 기술 수준의 MVS 방법에 비해 더 낮은 메모리 및 계산 비용으로도 열등한 성능을 달성하는가?

주요 결과

• RED-Net은 WHU-5 서브셋에서 평균 절대 오차(MAE) 0.1379 m를 기록하여 R-MVSNet 대비 정확도 50% 이상 향상되었으며, 메모리와 계산 자원 소모도 적다.
• München 항공 데이터셋에서 RED-Net은 MAE 0.3677 m와 0.6m 이내 정확도 89.95%를 기록하여 R-MVSNet 대비 총점에서 18% 향상되었다.
• 1.8×0.85 km²의 영역에 대해 3개 시야 입력과 200개 깊이 샘플을 사용할 때, RED-Net은 SURE 대비 16배 빠른 추론 속도(150분 대비 9.3분)를 기록했다.
• 모델는 강력한 제로샷 전이 성능를 보였으며, WHU에서 사전 훈련한 모델가 München 데이터셋에서 상위 상용 소프트웨어 도구보다 더 높은 정확도를 달성했다.
• DTU 벤치마크에서 RED-Net은 R-MVSNet 대비 총점에서 18% 향상되었으며, 단지 광학적 및 기하학적 후처리만으로 최신 기술 수준의 결과를 달성했다.
• RED-Net은 무제한 깊이 해상도를 유지하는 전체 해상도 깊이 맵을 제공하여 대규모 도시 영역의 고정밀 복원이 가능했다.