[論文レビュー] MegaDepth: Learning Single-View Depth Prediction from Internet Photos

Zhengqi Li, Noah Snavely|arXiv (Cornell University)|Apr 2, 2018

Advanced Vision and Imaging参考文献 40被引用数 65

ひとこと要約

著者らは、SfM+MVSを用いてインターネット写真コレクションからMegaDepthという大規模深度データセットを作成し、意味的フィルタリングと順序データで深度マップを精錬し、訓練時に新しいシーンや他のデータセットを見なくても汎化性能の高いCNNを学習させた。

ABSTRACT

Single-view depth prediction is a fundamental problem in computer vision. Recently, deep learning methods have led to significant progress, but such methods are limited by the available training data. Current datasets based on 3D sensors have key limitations, including indoor-only images (NYU), small numbers of training examples (Make3D), and sparse sampling (KITTI). We propose to use multi-view Internet photo collections, a virtually unlimited data source, to generate training data via modern structure-from-motion and multi-view stereo (MVS) methods, and present a large depth dataset called MegaDepth based on this idea. Data derived from MVS comes with its own challenges, including noise and unreconstructable objects. We address these challenges with new data cleaning methods, as well as automatically augmenting our data with ordinal depth relations generated using semantic segmentation. We validate the use of large amounts of Internet data by showing that models trained on MegaDepth exhibit strong generalization-not only to novel scenes, but also to other diverse datasets including Make3D, KITTI, and DIW, even when no images from those datasets are seen during training.

研究の動機と目的

• 大規模なインターネット写真コレクションを活用して、構造光像法と多視点逐次視法を通じた単一視点深度予測用のトレーニングデータを生成する。
• ノイズの多いMVS出力や動的オブジェクトに対応するデータクリーニングとデータ拡張技術を開発する。
• 単一画像から深度を予測し、未知の場所やデータセットへ汎化するCNNを訓練する。
• MegaDepth上で訓練したモデルが、従来の深度データセットで訓練したモデルより優れている、またはより良く一般化することを示す。

提案手法

• Colmap を用いてランドマークの Flickr 画像から3D SfM+MVS再構成を構築し，多くの画像の深度マップを取得する。
• 保守的な MVS 更新と中央値フィルタリングで深度マップを精製し、外れ値を削減する。
• セマンティック分割（PSPNet）を用いて前景/背景/空を分離し、前景領域の深度をフィルタリングする。
• 意味的・幾何学的手掛かりから順序深度関係を自動的に生成し、追加の訓練信号とする。
• スケール不変の損失関数を用いた深度予測ネットワーク（ Tested options の中の hourglass アーキテクチャ を含む）を、マルチスケール勾配項と順序深度損失を組み合わせた訓練で学習する。
• Make3D、KITTI、DIW を訓練データに使わずに一般化性能を評価し、必要に応じて特定データセットで微調整する。

実験結果

リサーチクエスチョン

• RQ1 インターネット写真コレクションから得られる大規模で緩い監督付き深度データは、単一視点深度予測モデルの強い汎化能力を学習させられるか。
• RQ2 ノイズの多いMVS出力を有用な訓練データへ変えるために、どのようなデータクリーニングと拡張戦略が必要か。
• RQ3 順序深度情報を取り入れると、再構成が難しい物体や動的オブジェクトの深度予測は改善されるか。
• RQ4 MegaDepth で訓練したモデルは、訓練データの領域外のデータセット（Make3D、KITTI、DIW）へ、訓練時にそれらの画像を見ていなくてもどれだけ移行できるか。

主な発見

• 大規模な MegaDepth データセット（約130Kの利用可能な画像、約200の3Dモデル）によって、単一視点深度予測モデルの訓練が可能である。
• 深度の精錬（保守的な MVS 更新と意味的フィルタリング）は、外部データセットへの一般化を大幅に改善する。
• スケール不変データ項、マルチスケール勾配項、および頑健な順序深度項を組み合わせたジョイント損失は、難易度の高いオブジェクトに対して特に構造を保ちつつ深度精度を向上させる。
• MegaDepth で訓練したモデルは、従来のデータセットだけで訓練したモデルより、未知のシーンや Make3D、KITTI、DIW への一般化性能が高い。
• Make3D または KITTI で MegaDepth 訓練モデルをファインチューニングすると、ドメイン非依存の訓練方式の中で最先端の性能を達成する。