[論文レビュー] Displacement-Invariant Cost Computation for Efficient Stereo Matching

Yiran Zhong, Charles Loop+8 more|arXiv (Cornell University)|Dec 1, 2020

Advanced Vision and Imaging参考文献 32被引用数 7

ひとこと要約

本論文は、4次元特徴体を構築する必要を排除するため、視差シフト特徴ペアに2次元畳み込みを適用する、視差不変なコスト計算モジュールを提案する。これにより、100 FPSを超えるリアルタイムステレオマッチングが実現可能となり、最先端の精度を達成する。本手法は、直接的なピクセル単位のマッチングを学習することで、セマンティックな文脈に依存することを回避し、優れたクロスデータセット一般化性能を達成する。

ABSTRACT

Although deep learning-based methods have dominated stereo matching leaderboards by yielding unprecedented disparity accuracy, their inference time is typically slow, on the order of seconds for a pair of 540p images. The main reason is that the leading methods employ time-consuming 3D convolutions applied to a 4D feature volume. A common way to speed up the computation is to downsample the feature volume, but this loses high-frequency details. To overcome these challenges, we propose a \emph{displacement-invariant cost computation module} to compute the matching costs without needing a 4D feature volume. Rather, costs are computed by applying the same 2D convolution network on each disparity-shifted feature map pair independently. Unlike previous 2D convolution-based methods that simply perform context mapping between inputs and disparity maps, our proposed approach learns to match features between the two images. We also propose an entropy-based refinement strategy to refine the computed disparity map, which further improves speed by avoiding the need to compute a second disparity map on the right image. Extensive experiments on standard datasets (SceneFlow, KITTI, ETH3D, and Middlebury) demonstrate that our method achieves competitive accuracy with much less inference time. On typical image sizes, our method processes over 100 FPS on a desktop GPU, making our method suitable for time-critical applications such as autonomous driving. We also show that our approach generalizes well to unseen datasets, outperforming 4D-volumetric methods.

研究の動機と目的

• 4次元特徴体に依存する3次元畳み込みベースのステレオマッチング手法が直面する高い計算コストとメモリ要件を解消すること。
• 従来の2次元畳み込みベースの手法が、文脈マッピングに依存するのではなく、ステレオ画像間の直接的な特徴マッチングに依存するという制限を克服すること。
• 自動運転などの時間的に制限のある応用に適したリアルタイム推論（100+ FPS）を実現し、精度を損なわないこと。
• 3次元ボリュームモデルが学習するデータセット固有の誤った相関関係への依存を低減することで、クロスデータセット一般化性能を向上させること。
• 右画像に2番目の視差マップを計算する必要を排除するリファインメント戦略を開発することにより、メモリ使用量と推論時間を削減すること。

提案手法

• 4次元特徴体の明示的構築を避けるために、同じ2次元畳み込みネットワークを各視差シフト特徴ペアに独立して適用し、マッチングコストを計算する。
• すべての視差レベルで一貫したコスト計算を保証する視差不変設計を採用することで、効率的かつパラメータ効率の良い学習を可能にする。
• 3次元コストボリュームから導出されるエントロピー地図を信頼度マップとして活用し、視差リファインメントをガイドすることで、右視野の視差推定の必要性を低減する。
• コスト計算とリファインメントを含む全ネットワークをエンドツーエンドで訓練することで、最終的な視差精度を最適化する。
• エントロピーに基づく信頼度マップを用いて視差をリファインメントし、右画像での冗長な計算を回避することで、処理速度と効率性を向上させる。
• 標準データセット（SceneFlow, KITTI, ETH3D, Middlebury）でモデルを訓練し、微調整なしで未学習のデータセットでの一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込みベースの手法が、4次元特徴体を構築せずに、競争力のあるステレオマッチング精度を達成できるか？
• RQ2 視差不変コスト計算モジュールは、3次元ボリューム手法と比較して、高速な推論を実現しながらも高い精度を維持できるか？
• RQ3 提案手法は、データセット固有のバイアスを学習する3次元ボリュームモデルと比較して、未学習のデータセットへの一般化性能が優れているか？
• RQ4 ランダムドットステレオグラムに対してロバストであることは、真のピクセルマッチング能力を示しており、セマンティックな文脈への依存ではないか？
• RQ5 右画像に2番目の視差マップを計算する必要がないにもかかわらず、エントロピーに基づく信頼度マップが視差リファインメントを効果的にガイドできるか？

主な発見

• デスクトップGPU上での540p画像に対して、本手法は100 FPSを超える速度を達成し、通常は約2 FPSで動作する3次元畳み込みベースの手法を著しく上回る。
• KITTI 2015テストセットでは、EPEが1.70、bad-1.0が42.35%を達成し、最先端の性能を同等または上回りながらも、はるかに高速である。
• クロスデータセット一般化テストでは、Middlebury 2014およびKITTI 2015の両方で、3次元ボリュームベースライン（Baseline3D）を上回り、EPEおよびbad-1.0誤差率が低かった。
• ランダムドットステレオグラム（RDS）データセットでは、EPEが1.02、bad-1.0が5.45%を達成し、真のピクセルマッチング能力を示した。一方、MADNet [19] はEPEが51.21で完全に失敗した。
• エントロピーに基づくリファインメント戦略により、右画像に2度目の視差マップを計算する必要がなくなり、推論時間とメモリ使用量が削減された。
• 未学習のデータセットに対しても良好な一般化性能を示し、複数のベンチマークで一貫した性能を発揮しており、データセット固有のアーチファクトではなく、ロバストなマッチングパターンを学習していることが示された。