[論文レビュー] OpenStereo: A Comprehensive Benchmark for Stereo Matching and Strong Baseline

Xianda Guo, Chenming Zhang+6 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、12種類以上のステレオマッチングモデルの学習および推論をサポートする包括的でオープンソースのベンチマークおよびコードベース、OpenStereoを紹介する。また、ステレオマッチングのためのシンプルだが非常に効果的なベースラインモデルであるStereoBaseを提案し、SceneFlowデータセット上でエンドツーエンド（EPE）0.43の新たな最先端性能を達成した。これは、体系的なアブレーションとモデル設計最適化を通じて強力な性能を示している。

ABSTRACT

Stereo matching aims to estimate the disparity between matching pixels in a stereo image pair, which is important to robotics, autonomous driving, and other computer vision tasks. Despite the development of numerous impressive methods in recent years, determining the most suitable architecture for practical application remains challenging. Addressing this gap, our paper introduces a comprehensive benchmark focusing on practical applicability rather than solely on individual models for optimized performance. Specifically, we develop a flexible and efficient stereo matching codebase, called OpenStereo. OpenStereo includes training and inference codes of more than 10 network models, making it, to our knowledge, the most complete stereo matching toolbox available. Based on OpenStereo, we conducted experiments and have achieved or surpassed the performance metrics reported in the original paper. Additionally, we conduct an exhaustive analysis and deconstruction of recent developments in stereo matching through comprehensive ablative experiments. These investigations inspired the creation of StereoBase, a strong baseline model. Our StereoBase ranks 1st on SceneFlow, KITTI 2015, 2012 (Reflective) among published methods and achieves the best performance across all metrics. In addition, StereoBase has strong cross-dataset generalization. Code is available at \url{https://github.com/XiandaGuo/OpenStereo}.

研究の動機と目的

• 多様なアーキテクチャやデータセットをカバーする、統合的かつ拡張可能なプラットフォームが不足している現状を是正すること。
• データオーグメンテーション、バックボーンネットワーク、コストボリューム設計、損失関数といったステレオマッチングの主要なコンポONENTに対する体系的なアブレーションスタディを可能にすること。
• 精度と効率の両面で優れた性能を示す、シンプルで一般化可能なベースラインモデルを確立すること。
• 標準化された、良好にドキュメント化されたコードベースを通じて、最先端のステレオマッチング手法間での実用的で公平な比較とデプロイメントを促進すること。

提案手法

• 12種類以上のステレオマッチングモデルの学習および推論をサポートする拡張可能でモジュラーなコードベース、OpenStereoを開発。これには、エンコーダデコーダ（ED-Conv2D）およびコストボリュームマッチング（CVM-Conv3D）アーキテクチャが含まれる。
• アブレーションを通じて最適化された、ランダムクロップおよびエイズトランスフォームを含む包括的なデータオーグメンテーション技術群を実装し、モデルの汎化性とロバスト性を向上。
• 1/4解像度での特徴抽出にMobileNetV2バックボーンを採用したStereoBaseを設計。計算コストと精度のバランスを取るために、グループワイズ相互相関（8チャネル）と連結（16チャネル）を組み合わせたハイブリッドコストボリュームを採用。
• コストボリューム集約にはアワークラスネットワーク、ディスparityレジリューションにはコンテキストアップサンプリングモジュールを採用。最終的な微調整にはDRNetRefineを用いる。
• 最大視差192を設定したスムーズL1損失関数を用いて学習し、安定的かつ高精度なエンドツーエンド学習を実現。
• StereoBaseの最終的設計を導くために、SceneFlowデータセット上で広範なアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 ステレオマッチングにおいて、データオーグメンテーション、バックボーンアーキテクチャ、コストボリューム設定、損失関数の最適な組み合わせは何か？
• RQ2 2Dと3D畳み込み、ネットワークの深さといった異なるアーキテクチャ的選択が、精度と推論効率のトレードオフにどのように影響するか？
• RQ3 体系的なアブレーションと設計最適化を経て、シンプルで軽量なモデルが最先端性能を達成できるか？
• RQ4 既存の最先端手法は、標準化されたトレーニングおよび評価プロトコルによってどの程度利益を享受できるか？

主な発見

• StereoBaseは、SceneFlowテストセットにおいてエンドツーエンド（EPE）0.43という新たな最先端性能を達成し、以前に報告された結果を上回った。
• アブレーションスタディの結果、RandomCropおよびErase Transformが、多様なステレオマッチングシナリオにおけるモデルのロバスト性と汎化性を顕著に向上させた。
• グループワイズ相互相関と連結を組み合わせたハイブリッドコストボリューム設計は、計算コストとディスパラティ推定精度の最適なトレードオフを実現した。
• StereoBaseは、複雑な構造を持つ複数の最先端モデルを上回る性能を示した。これは、構造のシンプルさとコンポONENTの体系的最適化の組み合わせが、優れた性能をもたらすことを示している。
• OpenStereoプラットフォームは、12種類以上のモデルの一貫性のある再現可能な評価を成功裏に実現し、ベンチマーキングフレームワークとしての有効性を裏付けた。