[論文レビュー] Learning Depth with Convolutional Spatial Propagation Network

Xinjing Cheng, Peng Wang+1 more|arXiv (Cornell University)|Oct 4, 2018

Advanced Vision and Imaging参考文献 96被引用数 37

ひとこと要約

本稿では、深層畳み込みニューラルネットワークから学習された空間的類似度を用いて、深度推定のための再帰的畳み込み操作を行う高速かつ高精度な線形伝播モデルである畳み込み的空間伝播ネットワーク（CSPN）を提案する。最先端のネットワークにCSPNを統合することで、NYUv2およびKITTIの深度補完タスクにおいて30%以上の誤差低減を達成し、KITTIステレオ2012および2015ベンチマークで1位を獲得した。また、従来の空間伝播ネットワークと比較して2〜5倍の高速化を実現した。

ABSTRACT

Depth prediction is one of the fundamental problems in computer vision. In this paper, we propose a simple yet effective convolutional spatial propagation network (CSPN) to learn the affinity matrix for various depth estimation tasks. Specifically, it is an efficient linear propagation model, in which the propagation is performed with a manner of recurrent convolutional operation, and the affinity among neighboring pixels is learned through a deep convolutional neural network (CNN). We can append this module to any output from a state-of-the-art (SOTA) depth estimation networks to improve their performances. In practice, we further extend CSPN in two aspects: 1) take sparse depth map as additional input, which is useful for the task of depth completion; 2) similar to commonly used 3D convolution operation in CNNs, we propose 3D CSPN to handle features with one additional dimension, which is effective in the task of stereo matching using 3D cost volume. For the tasks of sparse to dense, a.k.a depth completion. We experimented the proposed CPSN conjunct algorithms over the popular NYU v2 and KITTI datasets, where we show that our proposed algorithms not only produce high quality (e.g., 30% more reduction in depth error), but also run faster (e.g., 2 to 5x faster) than previous SOTA spatial propagation network. We also evaluated our stereo matching algorithm on the Scene Flow and KITTI Stereo datasets, and rank 1st on both the KITTI Stereo 2012 and 2015 benchmarks, which demonstrates the effectiveness of the proposed module. The code of CSPN proposed in this work will be released at https://github.com/XinJCheng/CSPN.

研究の動機と目的

• SPNのような順序依存のシリアルな深度精緻化手法に起因する推論速度の遅さや、画像構造との整合性の悪さといった課題を解消すること。
• スパースな深度サンプルを保持しながら、局所的およびグローバルなシーン整合性を向上させる、並列的で効率的かつ安定した深度伝播メカニズムを構築すること。
• 多スケール特徴の適応的融合とスパースな監視を組み合わせることで、既存の深層ネットワークと統合し、深度補完およびステレオマッチングを向上させること。
• ステレオマッチングにおける歪みとスケール空間を扱うために、CSPNを3次元に拡張し、より良い文脈モデリングと詳細回復を可能にすること。
• 手動で設計されたまたは固定された類似度モデルと比較して、データ駆動型の類似度学習が深度推定タスクで優れていることを示すこと。

提案手法

• CSPNは、深層畳み込みニューラルネットワークから得られる学習済み類似度行列を用いて、すべての画素に対して同時に再帰的な畳み込み更新を実行する。これにより、並列的かつ安定した深度伝播が可能になる。
• スパースな深度監視を統合するために、伝播中にスパースな入力ポイントでの値を明示的に保持することで、LiDARに類似した測定値の信頼性を保証する。
• ステレオマッチングの文脈では、空間的・不一致的・スケール的次元をカバーする3次元畳み込みを用いたCSPNの3次元版（3DCSPN）を導入した。
• 2次元CSPNと拡張畳み込み、特徴融合を組み合わせた、強化された空間ピラミッドプーリングモジュール（CSPF）を提案し、文脈モデリングと特徴表現の向上を図った。
• このフレームワークはモジュール構造を取っており、PSMNet や Ma ら [10] のネットワークなど、任意のバックボーンネットワークとスタック可能で、エンドツーエンドの学習が可能である。
• 深度補完における構造的詳細の特徴学習を向上させるために、初期ネットワークにミラー接続モジュールを追加した。

実験結果

リサーチクエスチョン

• RQ1 学習された並列的空間伝播メカニズムは、SPNのようなシリアルでスキャンラインベースの手法と比較して、深度推定の速度と精度の両面で優れているか？
• RQ2 伝播中にスパースな深度サンプルを効果的に保持することで、センサーの信頼性を維持しながら、密度の高い予測を向上させることは可能か？
• RQ3 空間的・不一致的・スケール的空間の文脈をモデル化することで、3D-CSPNはステレオマッチングをどの程度向上させられるか？
• RQ4 空間ピラミッドプーリングと多スケール特徴融合をCSPNに統合することで、多様な深度推定ベンチマークで一貫した性能向上が得られるか？
• RQ5 提案されたモジュールは、深度補完やステレオマッチングといった異なる深度推定タスクに、最小限のアーキテクチャ変更で一般化可能か？

主な発見

• 提案されたCSPNは、並列更新メカニズムのおかげで、実際の応用においてSPNと比較して2〜5倍の高速化を達成したが、精度に損なわれることなく実現した。
• NYUv2データセットでは、深度補完タスクにおいてベースラインと比較して30%以上の誤差低減を達成し、構造的整合性と詳細回復の両面で顕著な向上が見られた。
• KITTIステレオ2012および2015ベンチマークでは、すべての主要指標で他の最先端手法を10%以上上回り、1位を獲得した。
• アブレーションスタディの結果、3DCSPNと強化されたSPPモジュール（ACSPF）を組み合わせた場合が最良の性能を示し、Scene FlowデータセットでEPE誤差を0.971から0.902まで低減した。
• ベースラインのPSMNetにCSPNを統合することで、KITTI 2015におけるD1誤差率が元の手法と比較して30%以上低減した。
• 定性的な結果では、CSPNがオブジェクト境界に沿った良好な整合性と、特に破線ボックスで強調された困難な領域におけるより鋭い深度マップと細部の再現を実現していることが確認された。