[论文解读] A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset

Jin Liu, Shunping Ji|arXiv (Cornell University)|Mar 2, 2020

Advanced Vision and Imaging参考文献 35被引用 9

一句话总结

本文提出了WHU数据集，这是首个大规模多视角航空基准数据集，用于3D重建，并提出RED-Net，一种新颖的循环编码器-解码器网络，在大规模多视角立体重建中实现了最先进性能，相比商业软件内存占用更低，效率高出16倍。该方法可生成无限制深度分辨率的全分辨率深度图，并在无需微调的情况下在不同数据集间实现良好泛化。

ABSTRACT

A great deal of research has demonstrated recently that multi-view stereo (MVS) matching can be solved with deep learning methods. However, these efforts were focused on close-range objects and only a very few of the deep learning-based methods were specifically designed for large-scale 3D urban reconstruction due to the lack of multi-view aerial image benchmarks. In this paper, we present a synthetic aerial dataset, called the WHU dataset, we created for MVS tasks, which, to our knowledge, is the first large-scale multi-view aerial dataset. It was generated from a highly accurate 3D digital surface model produced from thousands of real aerial images with precise camera parameters. We also introduce in this paper a novel network, called RED-Net, for wide-range depth inference, which we developed from a recurrent encoder-decoder structure to regularize cost maps across depths and a 2D fully convolutional network as framework. RED-Net's low memory requirements and high performance make it suitable for large-scale and highly accurate 3D Earth surface reconstruction. Our experiments confirmed that not only did our method exceed the current state-of-the-art MVS methods by more than 50% mean absolute error (MAE) with less memory and computational cost, but its efficiency as well. It outperformed one of the best commercial software programs based on conventional methods, improving their efficiency 16 times over. Moreover, we proved that our RED-Net model pre-trained on the synthetic WHU dataset can be efficiently transferred to very different multi-view aerial image datasets without any fine-tuning. Dataset are available at http://gpcv.whu.edu.cn/data.

研究动机与目标

• 为解决3D重建中深度学习模型训练缺乏大规模、高质量多视角航空数据集的问题。
• 克服现有基于深度学习的MVS方法在城市规模重建中GPU显存需求高、可扩展性差的局限。
• 开发一种轻量化、高效且精确的MVS网络，适用于大规模、高分辨率地球表面重建。
• 实现在无需微调的情况下，从合成航空数据到真实世界航空数据集的零样本迁移学习。
• 证明深度学习方法在准确性和效率方面可超越传统的商业MVS处理流程。

提出的方法

• WHU数据集是基于真实多视角航空影像中精确相机参数生成的高精度3D数字地表模型合成而来。
• 该数据集包含6.7×2.2 km²的模拟航空影像、真实深度图、视差图和相机参数，同时提供子区域裁剪版本以支持单GPU训练。
• RED-Net采用循环编码器-解码器架构，通过在不同深度层级上顺序正则化代价体积，提升特征表示能力。
• 网络采用2D全卷积框架，结合残差连接与门控循环单元（GRUs），以建模代价体积中的长距离依赖关系。
• 该方法保持无限深度分辨率，输出无需下采样的全分辨率深度图，从而实现高精度重建。
• 模型在合成的WHU数据集上进行训练，并在真实世界航空数据集（包括 München 和 DTU）上进行评估，实现零样本迁移。

实验结果

研究问题

• RQ1 合成的、大规模多视角航空数据集是否能提升基于深度学习的MVS网络在地球表面重建中的性能与泛化能力？
• RQ2 循环编码器-解码器结构在大规模MVS任务中如何增强代价体积正则化与深度预测精度？
• RQ3 基于深度学习的MVS网络是否能在大规模城市重建中同时超越商业软件的准确性和推理速度？
• RQ4 在未进行微调的情况下，基于合成航空数据集预训练的模型在真实世界、多样化航空数据集上的泛化能力达到何种程度？
• RQ5 与最先进MVS方法相比，所提出的RED-Net是否在更低显存与计算成本下实现更优性能？

主要发现

• 在WHU-5子集上，RED-Net的平均绝对误差（MAE）为0.1379 m，相比R-MVSNet精度提升超过50%，且显存与计算消耗更低。
• 在München航空数据集上，RED-Net的MAE为0.3677 m，<0.6m精度达到89.95%，整体得分相比R-MVSNet提升18%。
• 对于1.8×0.85 km²场景（3视图输入，200个深度样本），RED-Net的推理速度比SURE快16倍（150分钟 vs. 9.3分钟）。
• 模型展现出强大的零样本迁移能力：在WHU上预训练后，其在München数据集上的精度优于当前最佳商业软件工具。
• 在DTU基准上，RED-Net相比R-MVSNet整体得分提升18%，仅通过光度与几何后处理即达到最先进水平。
• RED-Net保持全分辨率深度图并具备无限深度分辨率，可实现对大规模城市场景的高精度重建。