[論文レビュー] Deep Stereo Matching with Dense CRF Priors

Ron Slossberg, Aaron Wetzler+1 more|arXiv (Cornell University)|Dec 6, 2016

Advanced Vision and Imaging参考文献 17被引用数 4

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）アーキテクチャ内に学習可能な正則化事前分布として、密に接続された条件付きランダムフィールド（CRF）を統合したエンドツーエンドのディーブラーニングフレームワークを提案する。CRFパラメータをネットワークと同時に学習させることで、滑らかな物体境界と低減されたアーティファクトを実現し、合成データ（FlyingThings3D）および実世界データ（KITTI）の両方で、非エンドツーエンドおよび他のエンドツーエンドベースラインを上回る優れた視差推定性能を達成した。

ABSTRACT

Stereo reconstruction from rectified images has recently been revisited within the context of deep learning. Using a deep Convolutional Neural Network to obtain patch-wise matching cost volumes has resulted in state of the art stereo reconstruction on classic datasets like Middlebury and Kitti. By introducing this cost into a classical stereo pipeline, the final results are improved dramatically over non-learning based cost models. However these pipelines typically include hand engineered post processing steps to effectively regularize and clean the result. Here, we show that it is possible to take a more holistic approach by training a fully end-to-end network which directly includes regularization in the form of a densely connected Conditional Random Field (CRF) that acts as a prior on inter-pixel interactions. We demonstrate that our approach on both synthetic and real world datasets outperforms an alternative end-to-end network and compares favorably to more hand engineered approaches.

研究の動機と目的

• 手動で設計された後処理ステップに依存する非エンドツーエンドステレオパイプラインの限界を解消すること。
• 構造的事前分布をディープラーニングパイプラインに統合することで、視差推定の精度と境界の鋭さを向上させること。
• エンドツーエンド学習による学習可能な密なCRFが、標準的なCNNベースのコストボリューム学習よりも優れた結果をもたらすことを示すこと。
• 包括的で微分可能である正則化モジュールが、モジュラーで逐次的なステレオパイプラインを上回る可能性があるかを検証すること。
• 異なるデータ分布と視差範囲を有する合成および実世界データセットにおける、本手法のロバストネスを評価すること。

提案手法

• 本手法は、ステレオ画像ペアからピクセル単位のマッチングコストボリュームを計算するための深層CNNを採用する。
• 相互作用を考慮した、微分可能であるように設計された学習可能な密に接続された条件付きランダムフィールド（CRF）を、コストボリュームの正則化に用いる異なる層として統合する。
• 視差近傍関係をより効果的にモデル化するための新規な適合性関数をCRFが使用する。
• バックプロパゲーションを用い、微分可能な平均場近似を適用することで、CRFパラメータを含むネットワーク全体をエンドツーエンドで学習する。
• CRFは、物体境界における不連続性を保持しつつ局所的な滑らかさを強制する、ピecewise smoothnessの事前分布として機能する。
• 本フレームワークは、フル画像の教師信号を用いて、合成データ（FlyingThings3D）および実世界データ（KITTI）の両方で学習される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングパイプラインに統合された微分可能で学習可能な密なCRF層は、ステレオマッチング性能を向上させることができるか？
• RQ2 CRFのような構造的事前分布を組み込むことで、CNNベースのコストボリュームに依存するのみの手法よりも優れた視差推定が可能になるか？
• RQ3 特に大規模な視差領域を有する領域において、訓練データが限られたデータセット上での本手法の性能はいかがなものか？
• RQ4 提案されたCRFベースの正則化は、SGMベースの手法で見られる一般的なストリークアーティファクトを低減できるか？
• RQ5 CRF事前分布による性能向上は、データセットサイズとデータカバレッジに応じてスケーリングするか？

主な発見

• FlyingThings3Dデータセットでは、複数の例で[23]よりも低い誤差率を達成し、報告された誤差率は9.68%（[23]は11.85%）であった。
• KITTI 2015データセットでは、8つのテストシーンのうち6つで[23]を上回り、1つのケースでは1.09%の誤差率を記録した（[23]は1.45%）。
• SGMベースのアプローチで一般的に見られるストリークアーティファクトが低減され、視差マップにおける細部が洗練され、境界がより鋭くなった。
• KITTIにおいて、大規模な視差を示す近距離物体では、そのような領域の訓練例が不足しているため、誤差率が25.46%にまで上昇し、性能が著しく低下した。
• FlyingThings3Dのような大規模で十分にカバーされたデータセットでは顕著な改善が見られ、データサイズに応じた強いスケーラビリティを示した。
• 学習可能なCRF事前分布の統合により、非微分可能または後処理による代替手法と比較して、より包括的で効果的な正則化戦略が実現された。