[論文レビュー] Bilateral Grid Learning for Stereo Matching Networks

Bin Xu, Yuhua Xu+3 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Vision and Imaging参考文献 43被引用数 4

ひとこと要約

本稿では、学習されたバイラテラルグリッドに基づく、パラメータフリーでエッジを保持するコストボリュームアップサンプリングモジュールを提案する。このモジュールにより、低解像度での3D畳み込みと効率的なアップサンプリングが可能となり、リアルタイムなステレオマッチングネットワークが高精度を達成できる。GCNet、PSMNet、GANetといった既存ネットワークは4–29倍の高速化が達成され、競争力のある精度を維持する。また、リアルタイムネットワークBGNetはKITTIで39 fpsを達成し、最先端の性能を示す。

ABSTRACT

Real-time performance of stereo matching networks is important for many applications, such as automatic driving, robot navigation and augmented reality (AR). Although significant progress has been made in stereo matching networks in recent years, it is still challenging to balance real-time performance and accuracy. In this paper, we present a novel edge-preserving cost volume upsampling module based on the slicing operation in the learned bilateral grid. The slicing layer is parameter-free, which allows us to obtain a high quality cost volume of high resolution from a low-resolution cost volume under the guide of the learned guidance map efficiently. The proposed cost volume upsampling module can be seamlessly embedded into many existing stereo matching networks, such as GCNet, PSMNet, and GANet. The resulting networks are accelerated several times while maintaining comparable accuracy. Furthermore, we design a real-time network (named BGNet) based on this module, which outperforms existing published real-time deep stereo matching networks, as well as some complex networks on the KITTI stereo datasets. The code is available at https://github.com/YuhuaXu/BGNet.

研究の動機と目的

• ステレオマッチングネットワークにおけるリアルタイム性能と精度のトレードオフを解消すること。
• エッジを保持し、高解像度の詳細を維持する、効率的でパラメータフリーのコストボリュームアップサンプリング手法を開発すること。
• 高価な3D畳み込みを低解像度のコストボリュームに移譲することで、既存のステレオマッチングネットワークが著しく高速化されながら精度を損なわないようにすること。
• 本手法を用いて、KITTIベンチマークで既存のリアルタイムおよび複雑なネットワークを凌駕するリアルタイムステレオマッチングネットワーク（BGNet）を設計すること。
• 合成データおよび実世界データセットにおける一般化性能を評価し、ドメインを越えた堅牢性を示すこと。

提案手法

• 学習されたバイラテラルグリッドにおけるスライcing操作を用いて、低解像度のコストボリュームを高解像度にアップサンプリングする新しいコストボリュームアップサンプリングモジュールを提案する。
• 微分可能バイラテラルグリッドを活用し、エッジを保持するガイドマップを学習することで、テクスチャが乏しい領域やオクルージョン領域でのぼやけを回避する。
• スライcingレイヤーはパラメータフリーであるため、最小限の計算オーバーヘッドで高速な推論が可能である。
• 既存のステレオマッチングネットワーク（例：GCNet、PSMNet、GANet）にこのアップサンプリングモジュールを統合し、低解像度で3D畳み込みを実行し、効率的にアップサンプリングできるようにする。
• 本手法を用いて、推論速度とKITTIデータセットにおける精度を最適化したリアルタイムステレオマッチングネットワークBGNetおよびBGNet+を設計する。
• 計算コストを増加させることなく、一般化性能を向上させるために合成データセット（SceneFlow、IRS）でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習されたバイラテラルグリッドに基づくパラメータフリーでエッジを保持するアップサンプリング手法は、精度を損なわずにステレオマッチングネットワークの効率を向上させることができるか？
• RQ2 提案されたアップサンプリングモジュールは、既存のステレオマッチングアーキテクチャにスムーズに統合可能であり、推論速度を向上させつつ性能を維持できるか？
• RQ3 本手法を用いて、KITTIベンチマークで既存のリアルタイムおよび複雑な最先端ネットワークを凌駆するリアルタイムステレオマッチングネットワークを設計できるか？
• RQ4 合成データのみで訓練された場合、提案されたネットワークの一般化性能は複雑なモデルと比べてどの程度か？
• RQ5 追加の合成データ（例：IRS）を組み込むことで、推論時間に影響を与えずに一般化性能がどの程度向上するか？

主な発見

• 提案されたコストボリュームアップサンプリングモジュールは、既存のステレオマッチングネットワークを4～29倍高速化しつつ、元のバージョンと同等の精度を維持している。
• BGNetはKITTI 2012およびKITTI 2015で39 fpsを達成し、発表済みのすべてのリアルタイムディープステレオマッチングネットワークおよびGCNet、AANet、FADNetといった複雑なネットワークを上回る性能を示している。
• Middlebury 2014データセットでは、SceneFlowでのみ学習した場合、BGNetとBGNet+はそれぞれBad 2.0誤差が17.5%および17.2%となり、iResNetやGANetを上回っている。
• 追加の合成データ（IRS）で学習した場合、BGNetとBGNet+のBad 2.0誤差はそれぞれ13.5%および11.6%に低下し、計算コストの増加なしに優れた一般化性能を示している。
• バイラテラルグリッドアップサンプリングモジュールは非常に効率的であり、KITTI 2015では1画像ペアあたり4.3 msの処理時間で、フルネットワークGPU推論において線形アップサンプリングより僅か0.2 ms遅いにとどまっている。
• 本手法は、追加のパラメータが不要な微分可能バイラテラルグリッド操作をディープステレオマッチングに初めて適用し、高品質でエッジを保持するアップサンプリングを実現している。