[論文レビュー] Improved Stereo Matching with Constant Highway Networks and Reflective Confidence Learning

Amit Shaked, Lior Wolf|arXiv (Cornell University)|Dec 31, 2016

Advanced Vision and Imaging参考文献 22被引用数 11

ひとこと要約

本論文は、固定ゲートとマルチレベルスキップ接続を備えた定数ハイウェイネットワークおよび信頼性スコアのトレーニングに用いるリフレクティブ損失を用いることで、精度と信頼性推定を向上させる新しいステレオマッチングパイプラインを提案する。本手法はKITTI 2012および2015ベンチマークで最先端の性能を達成し、それぞれ2.29%および3.42%の誤差率を記録し、外れ値検出および補正において既存の信頼性推定技術を上回る。

ABSTRACT

We present an improved three-step pipeline for the stereo matching problem and introduce multiple novelties at each stage. We propose a new highway network architecture for computing the matching cost at each possible disparity, based on multilevel weighted residual shortcuts, trained with a hybrid loss that supports multilevel comparison of image patches. A novel post-processing step is then introduced, which employs a second deep convolutional neural network for pooling global information from multiple disparities. This network outputs both the image disparity map, which replaces the conventional "winner takes all" strategy, and a confidence in the prediction. The confidence score is achieved by training the network with a new technique that we call the reflective loss. Lastly, the learned confidence is employed in order to better detect outliers in the refinement step. The proposed pipeline achieves state of the art accuracy on the largest and most competitive stereo benchmarks, and the learned confidence is shown to outperform all existing alternatives.

研究の動機と目的

• 固定ゲートとマルチレベルスキップ接続を用いた新しいハイウェイアーキテクチャを採用することで、深層マッチングネットワークを再設計し、ステレオマッチングの精度を向上させること。
• 従来の「勝者1名」戦略に代えて、同時に出力として視差マップと信頼性スコアを予測する深層畳み込みニューラルネットワーク（CNN）を導入すること。
• トレーニング中に予測の正しさに基づいて信頼性ラベルを動的に調整する、新しいトレーニング信号「リフレクティブ損失」を考案すること。
• 学習された信頼性スコアを活用して、誤った視差を補間する際に外れ値を検出・補正するプロセスを強化すること。
• セマンティックセグメンテーションや追加のトレーニングデータに依存せずに、大規模なステレオベンチマークで最先端の性能を達成すること。

提案手法

• 固定ゲーティング値とマルチレベルリサエプトショートカットを備えた定数ハイウェイネットワークの変種を導入し、トレーニングの安定化とパッチマッチングにおける特徴の伝搬を向上させること。
• トレーニング中に画像パッチのマルチレベル比較を可能にするハイブリッド損失関数を採用し、ネットワークの正しいマッチングを識別する能力を強化すること。
• 最終的な視差マップと信頼性スコアを同時に予測する2番目の深層CNNを用い、標準的なWTA戦略に代えて、微分可能でグローバルな文脈に配慮した出力を実現すること。
• トレーニング中にリフレクティブ損失を適用し、予測された視差が正しい場合には信頼性ラベルを1に、そうでない場合には0に動的に設定することで、ネットワークが信頼性推定を効果的に学習できるようにすること。
• 予測された信頼性スコアを補正ステップで活用し、隣接ピクセルからの補間によって外れ値を検出し、修正すること。
• ネットワークの受容 field を制御するスケーリングレイヤーを組み込み、マッチングコスト計算における空間的文脈モデリングを向上させること。

実験結果

リサーチクエスチョン

• RQ1 固定ゲートを持つマルチレベルスキップ接続付きの定数ゲートハイウェイネットワークは、標準的なリサエプトネットワークと比較して、ステレオマッチングの精度を向上させることができるか？
• RQ2 WTA戦略を視差と信頼性スコアの同時予測に用いる深層CNNに置き換えることで、性能向上と信頼性推定の信頼性が向上するか？
• RQ3 予測の正しさに基づいて信頼性ラベルを動的に割り当てるリフレクティブ損失関数は、従来の信頼性推定手法を上回る性能を発揮できるか？
• RQ4 学習された信頼性スコアは、ステレオマッチングパイプラインにおける外れ値検出および補正をどのように改善するか？
• RQ5 本手法は、セマンティックセグメンテーションや追加のトレーニングデータを用いずに、KITTIベンチマークで最先端の結果を達成できるか？

主な発見

• 提案手法はKITTI 2012で2.29%、KITTI 2015で3.42%のテスト誤差率を達成し、MC-CNNベースライン（2.43%および3.89%）および他の最先端手法を上回った。
• リフレクティブ信頼性損失は、6つの競合する信頼性推定手法の中で最高の平均AUC（KITTI 2012で0.833、KITTI 2015で0.812）を達成した。
• 本手法は、5秒未満の推論時間で、高速ステレオマッチングアーキテクチャの誤差率をそれぞれ2.63%および3.78%まで改善した。
• アブレーションスタディの結果、ハイブリッド損失や定数ハイウェイゲートを削除すると性能が低下することが確認され、それらの重要性が裏付けられた。
• リフレクティブ損失を用いて学習された信頼性スコアは、外れ値検出を顕著に向上させ、補正ステップにおける補間の正確性を向上させた。
• 本手法はセマンティックセグメンテーションを用いず、アーキテクチャの革新と信頼性学習の組み合わせだけで最先端の結果を達成したことを示した。