[論文レビュー] DPSNet: End-to-end Deep Plane Sweep Stereo

Sunghoon Im, Hae‐Gon Jeon+2 more|arXiv (Cornell University)|May 2, 2019

Advanced Vision and Imaging被引用数 83

ひとこと要約

DPSNet は、微分可能なワーピングと文脈認識のコスト集約を用いて平面スイープ視差をモデル化する end-to-end のCNNであり、構造化されていないマルチビュー画像からの高密度深度推定で最先端を達成します。

ABSTRACT

Multiview stereo aims to reconstruct scene depth from images acquired by a camera under arbitrary motion. Recent methods address this problem through deep learning, which can utilize semantic cues to deal with challenges such as textureless and reflective regions. In this paper, we present a convolutional neural network called DPSNet (Deep Plane Sweep Network) whose design is inspired by best practices of traditional geometry-based approaches for dense depth reconstruction. Rather than directly estimating depth and/or optical flow correspondence from image pairs as done in many previous deep learning methods, DPSNet takes a plane sweep approach that involves building a cost volume from deep features using the plane sweep algorithm, regularizing the cost volume via a context-aware cost aggregation, and regressing the dense depth map from the cost volume. The cost volume is constructed using a differentiable warping process that allows for end-to-end training of the network. Through the effective incorporation of conventional multiview stereo concepts within a deep learning framework, DPSNet achieves state-of-the-art reconstruction results on a variety of challenging datasets.

研究の動機と目的

• テクスチャが乏しく反射のある領域にも対応できる堅牢な密な深度推定を、非構造的なマルチビュー画像から得られるよう動機づける。
• ポストホックな手作りのコストに頼るのではなく、平面スイープ stereo を学習するエンドツーエンドのニューラルネットワークを開発する。
• 差分可能な平面スイープコストボリュームの構築を、学習可能なコスト集約と統合して頑健性を向上させる。
• 複数の難しいデータセットにわたる最先端の深度再構成を実証し、アブレーションを分析する。
• CNN フレームワークに伝統的なマルチビュー stereo の概念を組み込むことで、エンドツーエンド訓練の恩恵が得られることを示す。

提案手法

• 参照画像とターゲット画像から、空間ピラミッドプーリングと続く2D畳み込みを用いて共有CNNからマルチスケール特徴を抽出し、32チャネルの特徴マップを生成する。
• L個の深度平面にまたがってターゲット視点の特徴を参照フレームへワープさせ、 differentiable warp module (spatial transformer based) で4Dボリュームを形成する。
• コストボリュームを文脈認識のコスト集約ネットワークで正規化し、拡張畳み込みと参照画像特徴を用いて各コストスライスを refine する。
• 深度を L 平面上のマルチラベル分類として推定し、各平面コストに softmax を適用し、深度を平面インデックスの加重和として計算する。さらに L と d_min でスケーリング。
• 初期コスト深度と refined cost-volume depths の両方に SmoothL1 loss を適用し、初期コスト深度には λ=0.7 の固定ウェイトで寄与をバランスさせる。
• テスト時には視点ごとのコストボリュームを平均化して複数視点からのコストを集約し、エンドツーエンドで最終的な深度マップを出力する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習による平面スイープ幾何がマルチビュー画像からの高密度深度再構成を、非エンドツーエンド平面スイープ法と比較して改善するか？
• RQ2 文脈認識のコスト集約は、特にテクスチャレスまたは均一な領域で深度精度を改善するか？
• RQ3 入力ビューの数は深度品質にどう影響し、計算量とのトレードオフは？
• RQ4 このフレームワークでコストボリューム構築のための特徴連結は、伝統的な絶対差ベースのコストよりも性能が良いか？
• RQ5 手法は異なるカメラの内部外部パラメータやKITTI の整列済みステレオのような設定にも適応可能か、微調整後に？

主な発見

• DPSNet はいくつかの標準的なマルチビュー データセットで最先端の結果を達成し、多くの指標で DeMoN、DeepMVS、COLMAP のベースラインを上回る。
• 同質な領域や物体境界における深度を効果的に回復し、ノイズのあるコストスライスを正規化するコスト集約モジュールの助けを借りている。
• コストボリューム構築のための特徴連結は絶対差を用いるよりも優れており、学習されるよりリッチな3D シーン情報を可能にする。
• 拡張畳み込みを用いた文脈誘導コスト集約ネットワークは、非集約ベースおよびスタック型 hourglass アーキテクチャの代替案と比べて深度精度を著しく改善する。
• 逆深度平面サンプリングとより多くの入力ビューの使用（最大約7視点まで）が結果を改善し、それ以上では利得が頭打ちになる。