[論文レビュー] Domain-invariant Stereo Matching Networks

Feihu Zhang, Xiaojuan Qi+4 more|arXiv (Cornell University)|Nov 29, 2019

Advanced Vision and Imaging参考文献 53被引用数 6

ひとこと要約

本論文では、ドメイン不変ステレオマッチングネットワーク（DSMNet）を提案する。この手法は、ドメイン間の特徴分布を正則化するための新規ドメイン正規化層と、頑健な構造的特徴を抽出するための学習可能な非局所グラフベースのフィルタを用いる。合成データのみで訓練されたDSMNetは、KITTI 2015のような実世界ベンチマークで、微調整を施したモデルでさえも上回る、最先端のドメイン間一般化性能を達成している。

ABSTRACT

State-of-the-art stereo matching networks have difficulties in generalizing to new unseen environments due to significant domain differences, such as color, illumination, contrast, and texture. In this paper, we aim at designing a domain-invariant stereo matching network (DSMNet) that generalizes well to unseen scenes. To achieve this goal, we propose i) a novel "domain normalization" approach that regularizes the distribution of learned representations to allow them to be invariant to domain differences, and ii) a trainable non-local graph-based filter for extracting robust structural and geometric representations that can further enhance domain-invariant generalizations. When trained on synthetic data and generalized to real test sets, our model performs significantly better than all state-of-the-art models. It even outperforms some deep learning models (e.g. MC-CNN) fine-tuned with test-domain data.

研究の動機と目的

• 色、照明、コントラスト、テクスチャの変化に起因するドメインシフトの影響により、未確認の実世界シーンに適用した場合のステレオマッチングネットワークの一般化性能の低さという課題に対処すること。
• ターゲットドメインデータの微調整や適応処理を一切行わず、新しい未確認の環境に対しても効果的に一般化できる深層学習モデルの開発。
• ドメインシフトによって生じる特徴のアーチファクトやノイズ、特にテクスチャの欠如や反射領域、オブジェクト境界周辺の問題を低減すること。
• ドメイン変動に対して不変な非局所的構造的・幾何的表現を捉えることで、ステレオマッチングの耐性を向上させること。
• 実ドメインデータの収集にかかるコストを回避するため、実世界データセットで優れた性能を発揮するが、合成データのみで学習したモデルを実現すること。

提案手法

• 空間的およびチャネル次元における特徴分布を正則化することでドメインシフトの影響を軽減するドメイン正規化層を導入する。
• 長距離の構造的・幾何的関係を特徴から捉えることで不変性を向上させる、学習可能な非局所グラフベースのフィルタリング層を設計する。
• SceneFlow や Carla などの合成データセットのみで学習する、エンドツーエンドで訓練可能な全体的なネットワークを定式化する。
• 特に困難な領域で形状や構造的情報を保持しながら、特徴マップのノイズやアーチファクトを非局所フィルタで抑制する。
• ドメイン正規化と非局所フィルタリングを統合することで、ドメインシフト下でも特徴の頑健性を向上させ、マッチング精度を向上させる。
• 実ドメインデータや微調整を一切使用せず、合成データのみに依存して実テストシーンへの一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 微調整や適応処理なしに、未確認の実世界シーンに効果的に一般化できるステレオマッチングネットワークを訓練可能か？
• RQ2 照明、コントラスト、テクスチャの変動といったドメインシフトに対して不変となるように、特徴表現をどのように正則化できるか？
• RQ3 学習可能な非局所グラフベースのフィルタは、ドメイン間設定においてステレオマッチング特徴の頑健性をどの程度向上できるか？
• RQ4 合成データでのみ学習したモデルが、KITTI 2015 などの実世界ベンチマークで微調整済みモデルを上回ることができるか？
• RQ5 ドメイン正規化と非局所フィルタリングの統合は、不一致推定における一般化性能の向上とアーチファクトの低減に寄与するか？

主な発見

• DSMNetは、合成データでのみ学習した場合、KITTI 2015ベンチマークで3.71%のテスト誤差率を達成し、ゼロショットドメイン間一般化性能において、すべての最先端モデルを上回った。
• 微調整なしに、MC-CNN（3.89%）、DispNetC（4.34%）、content-CNN（4.54%）といった微調整済みの深層学習モデルをも上回った。
• 4つの実世界データセットにおいて、同じ合成データで学習した最先端モデルと比較して、誤差率を3%から30%まで低減した。
• KITTI 2015で700エポック分微調整した場合、非オクルージョン領域で1.71%、全領域で1.90%という、新たな最先端の誤差率を達成した。
• GANet-deepに提案された非局所フィルタリング層を追加した場合、KITTI 2015で誤差率が1.77%まで低下し、新たな最先端性能を達成した。これは、ドメイン適応設定下でも本手法の有効性を示している。
• PSMNet や GANet-deep といった微調整済みモデルと比較して、視覚的に確認された定量的比較により、DSMNetはより正確なオブジェクト境界を生成した。