[論文レビュー] Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture

Lidong Yu, Yucheng Wang+2 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Vision and Imaging参考文献 21被引用数 21

ひとこと要約

本論文は、二重スティームニューラルネットワークを用いて明示的にコスト集合の提案を生成・選択する、深層ステレオマッチングのための新規な学習ベースのコスト集合サブアーキテクチャを提案する。低レベルの構造情報を利用してグローバルなガイドラインを統合することで、KITTIおよびScene Flowベンチマークで精度が向上し、KITTI2015では2.17%、KITTI2012では2.68%の誤差を達成し、最先端手法を上回る性能を発揮する。

ABSTRACT

Deep neural networks have shown excellent performance for stereo matching. Many efforts focus on the feature extraction and similarity measurement of the matching cost computation step while less attention is paid on cost aggregation which is crucial for stereo matching. In this paper, we present a learning-based cost aggregation method for stereo matching by a novel sub-architecture in the end-to-end trainable pipeline. We reformulate the cost aggregation as a learning process of the generation and selection of cost aggregation proposals which indicate the possible cost aggregation results. The cost aggregation sub-architecture is realized by a two-stream network: one for the generation of cost aggregation proposals, the other for the selection of the proposals. The criterion for the selection is determined by the low-level structure information obtained from a light convolutional network. The two-stream network offers a global view guidance for the cost aggregation to rectify the mismatching value stemming from the limited view of the matching cost computation. The comprehensive experiments on challenge datasets such as KITTI and Scene Flow show that our method outperforms the state-of-the-art methods.

研究の動機と目的

• 従来の手作業で設計されたコスト集合手法に見られる、グローバルな文脈の欠如と、テクスチャが乏しく、隠蔽領域で困難をきたすという限界を是正する。
• コスト集合を提案生成と選択の学習可能なプロセスとして明示的にモデル化することで、不一致の誤差を低減し、視差推定の精度を向上させる。
• 軽量な畳み込みネットワークを用いて抽出した低レベルの構造特徴を用いて、グローバルなビューガイドランスをコスト集合に統合する。
• コスト集合をトレーナブルなサブアーキテクチャとして統合することで、ステレオマッチングパイプラインのエンドツーエンド学習を可能にする。
• コストボリュームからのローカルな適合性と、構造ガイダンスからのグローバルな文脈のバランスを取ることで、コストボリュームにおける不一致誤差を低減する。

提案手法

• コスト集合を二段階の学習プロセスに再定式化する：提案生成と提案選択。
• 提案スティームを用い、空間的および深度方向の3次元畳み込み演算により、候補となる集合済みコストボリュームを生成する。
• 軽量な畳み込みネットワークを備えたガイダンススティームを用い、参照画像から低レベルの構造特徴を抽出し、グローバルな文脈を提供する。
• ガイダンス特徴マップを用いて評価スコアを計算し、ウィナートークス戦略を適用して最良の提案を選択する。
• エンドツーエンドトレーナブルなステレオマッチングパイプラインにこのサブアーキテクチャを統合し、特徴抽出、コスト計算、集合の共同最適化を可能にする。
• 集合後、不変性と滑らかさを保証するため、視差マップ回帰にソフト・アーゲンミンを用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なコスト集合メカニズムは、従来の手作業で設計された集合手法を上回るステレオマッチング精度を達成できるか？
• RQ2 低レベルの構造情報は、コストボリューム内のローカルエラーを是正するための効果的なグローバルビューガイドランスとして、どの程度効果的か？
• RQ3 提案生成と選択のための二重スティームアーキテクチャは、テクスチャが乏しく、隠蔽領域において従来の集合手法を上回る性能を発揮するか？
• RQ4 コスト集合サブアーキテクチャのエンドツーエンド学習は、全体のステレオマッチング性能をどの程度向上させるか？
• RQ5 提案手法は、合成データ（Scene Flow）と実世界データ（KITTI）を含む多様なデータセットに一般化可能か？

主な発見

• 提案手法は、KITTI2015ベンチマークでD1-all誤差2.17%を達成し、GC-Net（2.38%）、MC-CNN（3.89%）およびその他の最先端手法を上回る性能を示した。
• KITTI2012では、D1-all誤差2.68%を達成し、GC-Net（3.00%）およびMC-CNN（3.90%）を上回る精度を達成した。
• Scene Flowデータセットでは、RMS誤差2.23およびD1-all誤差2.68を達成し、GC-Netおよび他のベースラインを上回った。
• アブレーションスタディの結果、ガイダンススティームが極めて重要であることが確認された。これを除去すると性能が著しく低下し、その有効なグローバルビューガイドランスとしての役割が裏付けられた。
• ガイダンススティームの可視化により、低レベルの構造情報が正しく捉えられ、視差推定の正しさと相関していることが確認された。
• KITTI上での1枚あたりの実行時間は1.13秒であり、精度と推論速度の良好なトレードオフを実現している。