[論文レビュー] BlendedMVS: A Large-scale Dataset for Generalized Multi-view Stereo Networks

Yao Yao, Zixin Luo+6 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Vision and ImagingComputer Science参考文献 35被引用数 22

ひとこと要約

本稿では、一般化されたマルチビューステレオ（MVS）ネットワークの学習を目的とした大規模な合成データセット、BlendedMVSを紹介する。実画像から高品質なテクスチャ付き3Dメッシュを再構築し、それを新たな視点からレンダリングすることで、レンダリングされた色画像を入力画像とブレンドする。これにより、現実的な照明を保ちつつ、深度マップと整合性を確保した学習データを生成する。BlendedMVSで学習したモデルは、既存のデータセットと比較して顕著に一般化性能が向上している。

ABSTRACT

While deep learning has recently achieved great success on multi-view stereo (MVS), limited training data makes the trained model hard to be generalized to unseen scenarios. Compared with other computer vision tasks, it is rather difficult to collect a large-scale MVS dataset as it requires expensive active scanners and labor-intensive process to obtain ground truth 3D structures. In this paper, we introduce BlendedMVS, a novel large-scale dataset, to provide sufficient training ground truth for learning-based MVS. To create the dataset, we apply a 3D reconstruction pipeline to recover high-quality textured meshes from images of well-selected scenes. Then, we render these mesh models to color images and depth maps. To introduce the ambient lighting information during training, the rendered color images are further blended with the input images to generate the training input. Our dataset contains over 17k high-resolution images covering a variety of scenes, including cities, architectures, sculptures and small objects. Extensive experiments demonstrate that BlendedMVS endows the trained model with significantly better generalization ability compared with other MVS datasets. The dataset and pretrained models are available at \url{https://github.com/YoYo000/BlendedMVS}.

研究の動機と目的

• 学習ベースのマルチビューステレオ（MVS）ネットワークのための、大規模で多様性に富み、現実的である訓練データの不足に対処すること。
• 実画像からの現実的な環境光と視覚的手がかりを合成訓練データに組み込むことで、モデルの一般化性能を向上させること。
• 高価なアクティブスキャナに依存せずに、スケーラブルで低コストのパイプラインを提供し、高品質な訓練データを生成すること。
• DTUのような小規模で固定トラジェクトリのデータセットにとどまらない、実世界の多様なシーンにおけるより優れたパフォーマンスを実現すること。
• 深度、オクルージョン、ノーマルマップを含む豊富なアノテーションを提供することで、将来的な3Dジオメトリタスク研究を支援すること。

提案手法

• 3D再構築パイプラインを用いて、実画像から高精細のテクスチャ付き3Dメッシュを再構築する。
• 複数の視点からテクスチャ付きメッシュをレンダリングし、合成された色画像と対応する深度マップを生成する。
• レンダリングされた色画像を元の入力画像とブレンドすることで、現実世界の照明とテクスチャを保持しつつ、深度マップと整合性を保つ。
• ブレンドされた画像をMVSネットワークの入力として使用し、外観とジオメトリの整合性を保証する。
• 訓練中にオンライン光度補正を適用し、視点依存の照明効果に対するロバストネスをさらに向上させる。
• 入力画像の動的要素（例：人間）をブレンドする前に削除またはぼかすことで、データのプライバシーを確保する。

実験結果

リサーチクエスチョン

• RQ1 実画像とレンダリング画像をブレンドした合成データセットは、多様な実世界シーンにおけるMVSネットワークの一般化性能を向上させることができるか？
• RQ2 実際の入力画像からの環境光をレンダリングされた訓練データに組み込むと、モデルのパフォーマンスにどのような影響を与えるか？
• RQ3 BlendedMVSのような大規模で多様なデータセットで学習させることで、DTU や Tanks and Temples などのベンチマークデータセットでのパフォーマンスが向上するか？
• RQ4 光度補正が、MVSネットワークにおける照明変動に対するロバストネスをどの程度向上させるか？
• RQ5 提案されたデータ生成パイプラインは、MVSを越えた他の3Dジオメトリタスクにも適応可能か？

主な発見

• BlendedMVSで学習したモデルは、他のデータセットで学習したモデルと比較して、DTU、Tanks and Temples、ETH3Dベンチマークにおいて顕著に優れた一般化性能を達成している。
• アブレーションスタディの結果、オンライン光度補正を施したブレンド画像でDTUデータセットの検証誤差が最小となり、入力画像またはレンダリング画像のみで学習した場合よりも優れた性能を示した。
• 入力画像のみで学習させても満足のいく結果が得られ、再構築された3Dモデルが訓練用の準教師データとして十分に正確であることが示唆された。
• ブレンド画像の使用により、歩行者などの動的要素をブラーまたは削除することで、プライバシー保護が効果的に実現された。
• 本データセットには、都市、建築物、彫刻、小物など113の多様なシーンにまたがる17,000枚以上の高解像度画像が含まれている。
• オクルージョンマップやノーマルマップを含む追加のアノテーションも提供されており、将来的な可視性を考慮したネットワークやパッチベースのMVSネットワークに有益である。