[論文レビュー] StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction

Sameh Khamis, Sean Fanello+4 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Vision and Imaging参考文献 43被引用数 13

ひとこと要約

StereoNet は、低解像度のコストボリュームと階層的精錬を用いて、エッジに配慮したリアルタイム深度推定を実現するエンドツーエンドのディーブラーニングアーキテクチャを提案する。サブピクセルマッチング精度とカラーデータに従う学習されたエッジに配慮したアップサンプリング関数を活用することで、Titan X で 60 fps の推論を達成し、量子化フリーの高品質な視差マップを生成し、リアルタイム応用分野で最先端の精度を達成する。

ABSTRACT

This paper presents StereoNet, the first end-to-end deep architecture for real-time stereo matching that runs at 60 fps on an NVidia Titan X, producing high-quality, edge-preserved, quantization-free disparity maps. A key insight of this paper is that the network achieves a sub-pixel matching precision than is a magnitude higher than those of traditional stereo matching approaches. This allows us to achieve real-time performance by using a very low resolution cost volume that encodes all the information needed to achieve high disparity precision. Spatial precision is achieved by employing a learned edge-aware upsampling function. Our model uses a Siamese network to extract features from the left and right image. A first estimate of the disparity is computed in a very low resolution cost volume, then hierarchically the model re-introduces high-frequency details through a learned upsampling function that uses compact pixel-to-pixel refinement networks. Leveraging color input as a guide, this function is capable of producing high-quality edge-aware output. We achieve compelling results on multiple benchmarks, showing how the proposed method offers extreme flexibility at an acceptable computational budget.

研究の動機と目的

• AR/VR やモバイルアプリケーションを想定した、計算リソースが限られた環境下でも高精度な深度マップをリアルタイムで得ること。
• 高解像度のコストボリュームに依存し、最適化が遅い従来のステレオマッチング手法の計算効率の低さを克服すること。
• 従来のディーブラーニングベースのステレオマッチング手法と比較して、精度を維持または向上させながらモデルの複雑さと推論時間を低減すること。
• カラーデータに従うアップサンプリングによってエッジを保持し、高周波数の詳細を回復する階層的精錬機構を開発すること。
• サブピクセル精度のマッチングとエッジに配慮した精錬を組み合わせることで、低解像度のコストボリュームのみで高精度な深度推定が可能であることを示すこと。

提案手法

• ネットワークは、左画像および右画像から特徴量を抽出するためのシアンプル型アーキテクチャを採用する。
• ダウンサンプリング係数 8 の下で低解像度のコストボリュームが構築され、サブピクセル精度でマッチングコストが符号化される。
• 段階的な学習されたエッジに配慮したアップサンプリング層を用いて階層的精錬が実行され、高周波数の詳細が徐々に回復される。
• 各精錬段階では、カラーデータをガイドとして用いるコンactなピクセル単位の精錬ネットワークが用いられ、エッジを保持しぼやけを回避する。
• 深層ネットワークの高いサブピクセルマッチング精度を活用することで、フル解像度のコストボリュームを必要とせず、フル解像度の視差マップを生成する。
• パイプライン全体がエンドツーエンドで学習され、最終出力として量子化フリーの視差マップが得られる。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、低解像度のコストボリュームからの高精度な深度推定に十分なサブピクセルマッチング精度を達成できるか？
• RQ2 従来の補間やフィルタリングに代わって、学習されたエッジに配慮したアップサンプリングが視差マップの微細構造を保持できるか？
• RQ3 非常に低解像度のコストボリュームを用いることで、従来手法と比較して計算コストを著しく削減しつつ、精度を維持または向上できるか？
• RQ4 カラーデータガイド付きの階層的精錬戦略により、リアルタイムで高品質でエッジを保持した出力を得られるか？
• RQ5 教師あり学習データの不足が性能に与える制限はどの程度か。自己教師学習はこれを緩和できるか？

主な発見

• StereoNet は NVIDIA Titan X で 60 fps の推論を達成し、高品質な深度推定における最初のエンドツーエンドリアルタイムステレオマッチングネットワークである。
• ネットワークは 1/30 ピクセルというサブピクセルマッチング精度を達成しており、従来のステレオマッチング手法と比べて1桁高い。
• KITTI 2012 では、非隠蔽領域で EPE 0.8、全ピクセルで 0.9 を達成し、1組のステレオペアあたり推論時間がわずか 0.015 秒である。
• KITTI 2015 では、全ピクセルで EPE 4.83% を報告し、MC-CNN や SGM-Net と比較して高速でありながら、競争力のある精度を維持している。
• 推論時間の大部分（38%）がフル解像度での最終精錬段階に費やされており、精錬が主な計算ボトルネックであることが示された。
• 反射面や隠蔽領域では性能が著しく劣り、訓練データの不足とインpainting機構の欠如により、これらの領域が適切に処理されていないことが原因である。