[論文レビュー] Stereo Risk: A Continuous Modeling Approach to Stereo Matching

Ce Liu, Suryansh Kumar+4 more|arXiv (Cornell University)|Jul 3, 2024

Spectroscopy and Chemometric AnalysesChemistry被引用数 3

ひとこと要約

Stereo Riskは、従来の離散化された視差回帰を、カテゴリカル視差分布から導出された連続的確率密度関数上の$L^1$ノルムリスク最小化に置き換える連続的リスク最小化フレームワークを提案する。微分可能な最適化のための陰関数定理を活用することで、KITTI、ETH3D、Middleburyベンチマークで最先端の性能を達成し、特にマルチモーダルで外れ値に敏感な視差において精度が向上する。

ABSTRACT

We introduce Stereo Risk, a new deep-learning approach to solve the classical stereo-matching problem in computer vision. As it is well-known that stereo matching boils down to a per-pixel disparity estimation problem, the popular state-of-the-art stereo-matching approaches widely rely on regressing the scene disparity values, yet via discretization of scene disparity values. Such discretization often fails to capture the nuanced, continuous nature of scene depth. Stereo Risk departs from the conventional discretization approach by formulating the scene disparity as an optimal solution to a continuous risk minimization problem, hence the name "stereo risk". We demonstrate that $L^1$ minimization of the proposed continuous risk function enhances stereo-matching performance for deep networks, particularly for disparities with multi-modal probability distributions. Furthermore, to enable the end-to-end network training of the non-differentiable $L^1$ risk optimization, we exploited the implicit function theorem, ensuring a fully differentiable network. A comprehensive analysis demonstrates our method's theoretical soundness and superior performance over the state-of-the-art methods across various benchmark datasets, including KITTI 2012, KITTI 2015, ETH3D, SceneFlow, and Middlebury 2014.

研究の動機と目的

• 深層視差マッチングにおける離散的視差量子化の限界を解決し、現実世界の深度の連続的性質を捉えること。
• $L^2$ベースの期待値最小化がマルチモーダル視差分布や外れ値に対して感受性が強い問題を克服すること。
• 離散的回帰や後処理に依存せず、連続的視差予測が可能な微分可能でエンドツーエンド学習可能なフレームワークの開発。
• 視差を連続的リスク最小化問題としてモデル化することで、ドメインシフト（例：合成データから実世界データ）への一般化性を向上させること。
• 実世界のステレオベンチマークで優れた性能を示しながらも、競争的な推論速度とパラメータ効率を維持すること。

提案手法

• 視差予測が連続的確率密度関数上での期待$L^1$誤差を最小化する解である連続的リスク最小化問題としてステレオマッチングを定式化する。
• スプラインベースの補間を用いて、視差仮説の離散的カテゴリカル分布から連続的確率密度関数を構築する。
• $L^1$ノルムリスク最小化を適用し、期待絶対誤差を最小化する視差値を特定することで、マルチモーダル分布に対するロバストネスを向上させる。
• 非微分可能な$L^1$最適化ステップを逆伝播可能にするために、陰関数定理を用いる。これによりエンドツーエンド学習が可能になる。
• 推論時に効率的に最適な視差値を計算するためのバイナリサーチベースのアルゴリズムを実装し、計算効率を確保する。
• 既存のステレオネットワークに$L^1$リスク最小化モジュールをプラグインレイヤーとして統合し、追加の可学習パラメータを一切不要とする。

実験結果

リサーチクエスチョン

• RQ1 標準的な離散的回帰や期待値ベースの手法と比較して、連続的リスク最小化フレームワークがステレオマッチングの精度を向上させられるか？
• RQ2 マルチモーダル視差分布や外れ値の処理において、$L^1$ノルムリスク最小化は$L^2$ベースの期待値最小化と比べてどのように優れているか？
• RQ3 滑らかでない性質を持つにもかかわらず、$L^1$ベースのリスク最小化を微分可能かつエンドツーエンド学習可能にするのは可能か？
• RQ4 提案手法は、既存の最先端手法と比較してドメインシフト（例：合成データから実世界データ）にさらなる一般化性を示せるか？
• RQ5 既存のSOTAステレオネットワークと比較して、提案手法の計算効率とパラメータ効率はどの程度か？

主な発見

• Middlebury 2014ベンチマークでは、>1px誤差をSOTAの13.76%から12.63%に削減し、高周波数成分の回復性能も向上している。
• ETH3Dでは、>0.5px誤差を10.39%から8.59%、>1px誤差を4.05%から2.71%に削減し、ドメインシフトへの一般化性とロバストネスが顕著に向上している。
• KITTI 2012では、>2px誤差が5.82%、Noc Allが3.84%と最高性能を記録し、ファインチューニングなしでIGEVやDLNRを上回った。
• KITTI 2015では、Noc Allが3.68%、D1_allが5.19%を達成し、追加の事前学習なしで全手法中最も高い順位を獲得した。
• アブレーションスタディにより、訓練時および推論時ともに$L^1$ノルムリスク最小化を適用すると最良の性能が得られ、予測ヘッドのみを置き換えた場合でも同様の向上が確認された。
• 推論速度は競争力を持ち、PCWNet、IGEV、DLNRよりもパラメータ数が少なく、リスクモジュールに追加の可学習パラメータを一切持たない。