[論文レビュー] A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset

Jin Liu, Shunping Ji|arXiv (Cornell University)|Mar 2, 2020

Advanced Vision and Imaging参考文献 35被引用数 9

ひとこと要約

本論文は、3次元再構築のための大規模マルチビュー空中画像ベンチマークとしてのWHUデータセットを紹介し、最新の性能を達成する新規の再帰的エンコーダデコーダネットワークであるRED-Netを提案する。RED-Netは、商業ソフトウェアよりも16倍高速で、メモリ使用量も低く、大規模マルチビューステレオ再構築において最先端の性能を発揮する。本手法により、無制限の深度解像度を持つフル解像度の深度マップが可能となり、微調整なしにさまざまなデータセットに一般化可能である。

ABSTRACT

A great deal of research has demonstrated recently that multi-view stereo (MVS) matching can be solved with deep learning methods. However, these efforts were focused on close-range objects and only a very few of the deep learning-based methods were specifically designed for large-scale 3D urban reconstruction due to the lack of multi-view aerial image benchmarks. In this paper, we present a synthetic aerial dataset, called the WHU dataset, we created for MVS tasks, which, to our knowledge, is the first large-scale multi-view aerial dataset. It was generated from a highly accurate 3D digital surface model produced from thousands of real aerial images with precise camera parameters. We also introduce in this paper a novel network, called RED-Net, for wide-range depth inference, which we developed from a recurrent encoder-decoder structure to regularize cost maps across depths and a 2D fully convolutional network as framework. RED-Net's low memory requirements and high performance make it suitable for large-scale and highly accurate 3D Earth surface reconstruction. Our experiments confirmed that not only did our method exceed the current state-of-the-art MVS methods by more than 50% mean absolute error (MAE) with less memory and computational cost, but its efficiency as well. It outperformed one of the best commercial software programs based on conventional methods, improving their efficiency 16 times over. Moreover, we proved that our RED-Net model pre-trained on the synthetic WHU dataset can be efficiently transferred to very different multi-view aerial image datasets without any fine-tuning. Dataset are available at http://gpcv.whu.edu.cn/data.

研究の動機と目的

• 深層学習モデルの3次元再構築のための、大規模かつ高品質なマルチビュー空中データセットの不足を解消すること。
• 都市規模の再構築において、既存の深層学習ベースのMVS手法が直面する高いGPUメモリ要件とスケーラビリティの制限を克服すること。
• 大規模かつ高解像度の地球表面再構築に適した、軽量で効率的かつ高精度なMVSネットワークを開発すること。
• 微調整なしに、合成空中データから実世界の空中データセットへのゼロショット転移学習を可能にすること。
• 深層学習が、精度と効率の両面で従来の商業的MVSパイプラインを上回ることを実証すること。

提案手法

• WHUデータセットは、正確なカメラパラメータを有する実際のマルチビュー空中画像から得られた高精度な3次元デジタル表面モデルをもとに合成された。
• データセットには6.7×2.2 km²のシミュレートされた空中画像、真値の深度マップ、視差マップ、カメラパラメータが含まれており、1GPUでの学習を想定したサブセットも含まれる。
• RED-Netは、深度レベルに跨るコストボリュームを段階的に正則化することで特徴表現を向上させる再帰的エンコーダデコーダアーキテクチャを採用する。
• ネットワークは2次元の完全畳み込みフレームワークを採用し、残差接続とゲート付き再帰ユニット（GRUs）を用いてコストボリューム内の長距離依存性をモデル化する。
• ダウンサンプリングを行わず、無制限の深度解像度を維持し、フル解像度の深度マップを出力することで、高精度な再構築を可能にする。
• モデルは合成されたWHUデータセットで学習され、実世界の空中データセット（ミュンヘンおよびDTU）で評価され、ゼロショット転移が実施された。

実験結果

リサーチクエスチョン

• RQ1 合成された大規模マルチビュー空中データセットは、地球表面再構築のための深層学習ベースMVSネットワークの性能と一般化能力を向上させることができるか？
• RQ2 再帰的エンコーダデコーダ構造は、大規模MVSタスクにおけるコストボリューム正則化と深度予測精度をどのように向上させるか？
• RQ3 深層学習ベースのMVSネットワークは、大規模都市再構築において、精度と推論速度の両面で商業ソフトウェアを上回ることができるか？
• RQ4 合成空中データセットで事前学習したモデルは、微調整なしに、実世界の多様な空中データセットにどの程度一般化可能か？
• RQ5 提案されたRED-Netは、最先端のMVS手法と比較して、より低いメモリと計算コストで優れた性能を達成できるか？

主な発見

• RED-NetはWHU-5サブセットで平均絶対誤差（MAE）0.1379 mを達成し、R-MVSNetを50%以上上回る精度を発揮しながら、メモリと計算量も低減した。
• ミュンヘン空中データセットでは、MAEが0.3677 m、0.6m未満の精度が89.95%に達し、全体スコアでR-MVSNetを18%上回った。
• 1.8×0.85 km²のシーン（3ビュー入力、200深度サンプル）において、RED-Netの推論速度はSUREの16倍速く（150分対9.3分）、16倍の高速化を達成した。
• モデルは強力なゼロショット転送性を示した。WHUで事前学習したモデルは、最高の商業ソフトウェアツールよりもミュンヘンデータセットで高い精度を達成した。
• DTUベンチマークでは、RED-NetはR-MVSNetを18%上回る全体スコアを達成し、写真的および幾何的後処理のみで最先端の結果を達成した。
• RED-Netはフル解像度の深度マップを維持し、無制限の深度解像度を実現することで、大規模都市シーンの高精度再構築を可能にした。