[論文レビュー] Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching

Youmin Zhang, Yimin Chen+5 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Vision and Imaging参考文献 35被引用数 17

ひとこと要約

本論文では、真値の視差を中心とする単峰性分布でコストボリュームを直接監視するとともに、マッチングの不確実性をモデル化するためのピixe ルごとの信頼度を推定する、新しい深層ステレオマッチングフレームワークであるAdaptive Unimodal Cost Volume Filtering (AcfNet) を提案する。ステレオフォーカル損失とエンド・ツー・エンド学習を導入することで、KITTI 2012 で1位、KITTI 2015 で4位という最先端の性能を達成した。

ABSTRACT

State-of-the-art deep learning based stereo matching approaches treat disparity estimation as a regression problem, where loss function is directly defined on true disparities and their estimated ones. However, disparity is just a byproduct of a matching process modeled by cost volume, while indirectly learning cost volume driven by disparity regression is prone to overfitting since the cost volume is under constrained. In this paper, we propose to directly add constraints to the cost volume by filtering cost volume with unimodal distribution peaked at true disparities. In addition, variances of the unimodal distributions for each pixel are estimated to explicitly model matching uncertainty under different contexts. The proposed architecture achieves state-of-the-art performance on Scene Flow and two KITTI stereo benchmarks. In particular, our method ranked the $1^{st}$ place of KITTI 2012 evaluation and the $4^{th}$ place of KITTI 2015 evaluation (recorded on 2019.8.20). The codes of AcfNet are available at: https://github.com/DeepMotionAIResearch/DenseMatchingBenchmark.

研究の動機と目的

• コストボリュームの過小制約性に起因する問題に対処する。具体的には、視差回帰による間接的監視では過学習が生じやすく、コストボリュームの品質が低下する。
• 真値の視差にピークを持つ単峰性分布として直接的にコストボリュームをモデル化することで、マッチングの信頼性を向上させる。
• ピixe ルごとのマッチング不確実性を明示的にモデル化する。具体的には、単峰性分布の鋭さを制御する信頼度スコアを推定する。
• コストボリュームに新しいステレオフォーカル損失を適用し、エンド・ツー・エンド学習により、視差推定性能を最先端水準にまで向上させる。

提案手法

• 本手法は、特徴抽出と集約後に3つのコストボリュームを生成するPSMNetスタイルのアワークラスバックボーンを用いる。
• 信頼度推定ネットワーク（CENet）は、各ピクセルについて、真値の視差を中心とする単峰性分布の鋭さを調整するピクセルごとの信頼度スコアを予測する。
• 単峰性コストボリュームラベルは、真値の視差を中心にガウス型分布を配置し、その分散を予測された信頼度で制御することで構築される。
• ステレオフォーカル損失がコストボリュームに直接適用され、ネットワークが正しい視差に鋭くピークを持つコスト分布を生成するよう促進される。
• フィルタリングされたコストボリューム上でソフトargminを用いて視差が回帰され、エンド・ツー・エンド最適化のための標準的な回帰損失が追加される。
• マルチスケール特徴統合と3次元残差ブロックを用いてコスト集約が行われ、空間解像度を保持するためのデコンボリューションスキップ接続が採用される。

実験結果

リサーチクエスチョン

• RQ1 真値の視差を中心とする単峰性分布でコストボリュームを直接監視することで、ステレオマッチングの精度が向上するか？
• RQ2 学習された信頼度スコアを用いてピクセルごとのマッチング不確実性をモデル化することで、コストボリュームの品質と視差推定にどのような影響を与えるか？
• RQ3 真値の視差を中心とする適応的単峰性分布でコストボリュームをフィルタリングすることで、視差回帰による間接的監視と比較して過学習が軽減され、一般化性能が向上するか？
• RQ4 提案されたステレオフォーカル損失は、コストボリューム学習および最終的な視差精度にどのような影響を与えるか？

主な発見

• AcfNet は KITTI 2012 ステレオベンチマークで1位を達成し、評価時（2019.8.20 記録）に他のすべての手法を上回った。
• KITTI 2015 ベンチマークでは4位を記録し、多様な実世界のステレオデータセットにおいて強力な一般化性能を示した。
• Scene Flow におけるアブレーションスタディでは、提案された単峰性フィルタリングと信頼度ベースのモジュレーションが、コストボリュームの品質と視差精度を顕著に向上させた。
• 可視化結果から、AcfNet は真値の視差に鋭くピークを持つコスト分布を生成する一方で、PSMNet などのベースラインモデルはしばしば不適切な局所的最小値を示すことがわかった。
• ステレオフォーカル損失の導入により、曇りや模様のない領域など、曇りやすい領域でもより頑健なコストボリューム学習が実現された。