[論文レビュー] Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

Xiaodong Gu, Zhiwen Fan+4 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Vision and Imaging参考文献 54被引用数 65

ひとこと要約

カスケードコストボリュームを導入し、深度レンジを段階的に絞りつつマルチスケール特徴ピラミッドを用いることで高解像度の深度/ディパリティ推定をメモリと計算量を削減しながら実現。DTUとTanks and Templesで最先端の結果を示し、顕著なメモリと速度の利得を達成。

ABSTRACT

The deep multi-view stereo (MVS) and stereo matching approaches generally construct 3D cost volumes to regularize and regress the output depth or disparity. These methods are limited when high-resolution outputs are needed since the memory and time costs grow cubically as the volume resolution increases. In this paper, we propose a both memory and time efficient cost volume formulation that is complementary to existing multi-view stereo and stereo matching approaches based on 3D cost volumes. First, the proposed cost volume is built upon a standard feature pyramid encoding geometry and context at gradually finer scales. Then, we can narrow the depth (or disparity) range of each stage by the depth (or disparity) map from the previous stage. With gradually higher cost volume resolution and adaptive adjustment of depth (or disparity) intervals, the output is recovered in a coarser to fine manner. We apply the cascade cost volume to the representative MVS-Net, and obtain a 23.1% improvement on DTU benchmark (1st place), with 50.6% and 74.2% reduction in GPU memory and run-time. It is also the state-of-the-art learning-based method on Tanks and Temples benchmark. The statistics of accuracy, run-time and GPU memory on other representative stereo CNNs also validate the effectiveness of our proposed method.

研究の動機と目的

• 高解像度のMVSおよびステレオマッチングにおける3Dコストボリュームのメモリと計算量のボトルネックに対処する。
• 特徴ピラミッド上に構築された粗さから細かさへのカスケードコストボリュームを提案し、深度/ディパリティを段階的に洗練する。
• 前段の予測に基づく適応的な深度サンプリングで計算を削減する。

提案手法

• 複数の段階にわたって深度レンジRkを減少させ、平面間隔Ikを減少させたコストボリュームのカスケードを構築し、Dk = Rk/Ik を満たす。
• マルチスケール特徴を提供し、段階ごとに空間解像度を段階的に増加させるために特徴ピラミッドを用いる。
• ワープ処理と残差深度/ディパリティデルタ（Δk+1）が、更新されたホモグラフィーやディパリティマッピングを用いて次段のコストボリュームを導く。
• すべての中間出力をマルチステージ損失で監督: Loss = sum_k λ^k L^k。
• MVSNetやPSMNetなどのバックボーンとカスケードコストボリュームを統合し、MVSNet+Oursおよびステレオ対応を形成して高解像度出力を実現。

実験結果

リサーチクエスチョン

• RQ1 カスケード式の粗から細へのコストボリュームは、高解像度でも深度/ディパリティ精度を維持または向上させつつ、メモリと計算量を削減できるか？
• RQ2 前段の深度推定を用いた逐次的な refinement は、MVSとステレオのベンチマークでどのような性能影響を与えるか？
• RQ3 カスケードコストボリュームにおける空間解像度、段数、仮説平面のトレードオフは何か？
• RQ4 カスケードアプローチはDTU、Tanks and Temples、KITTI、Scene Flowなどのデータセットでどの程度一般化するか？

主な発見

• MVSNet+Ours は MVSNet と組み合わせた場合 DTU で1位を達成し、総合品質が 35.6% 改善。
• 同じ総深度仮説を使用した場合、カスケードコストボリュームは DTU で GPU メモリを約 50.6%、実行時間を約 59.3%低減。
• Tanks and Temples では、MVSNet+Ours はファインチューニングなしで学習ベースの MVS 手法の中で最先端の性能を達成。
• ステレオマッチングで、カスケードコストボリュームはエンドポイント誤差(EPE)をベースライン手法より最大で 0.166低減し、メモリ使用量も低減（例: PSMNet, GwcNet, GANet11 で顕著なメモリ節約を示す）。
• 表レベルの結果は、カスケードを用いると MVSNet の Acc., Comp., Overall 指標が改善されることを示しており（例: 4段階カスケードの一部設定で DTU の 0.456/0.646/0.551 から 0.325/0.385/0.355 へ）、メモリ/実行時間も大幅に削減される。