[論文レビュー] GraftNet: Towards Domain Generalized Stereo Matching with a Broad-Spectrum and Task-Oriented Feature

Biyang Liu, Huimin Yu+1 more|arXiv (Cornell University)|Apr 1, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、コサイン類似度に基づくコストボリュームを通じてImageNet事前学習モデルからの広帯域特徴をステレオマッチングネットワークにグラフト化することで一般化性能を向上させる、ドメイン一般化型ステレオマッチングフレームワークGraftNetを提案する。特徴抽出とコスト集約を分離し、軽量なアダプタでグラフト特徴を精緻化することで、ターゲットドメインでの微調整を必要とせず、KITTI 2015、KITTI 2012、Middlebury、ETH3Dで最先端性能を達成する。

ABSTRACT

Although supervised deep stereo matching networks have made impressive achievements, the poor generalization ability caused by the domain gap prevents them from being applied to real-life scenarios. In this paper, we propose to leverage the feature of a model trained on large-scale datasets to deal with the domain shift since it has seen various styles of images. With the cosine similarity based cost volume as a bridge, the feature will be grafted to an ordinary cost aggregation module. Despite the broad-spectrum representation, such a low-level feature contains much general information which is not aimed at stereo matching. To recover more task-specific information, the grafted feature is further input into a shallow network to be transformed before calculating the cost. Extensive experiments show that the model generalization ability can be improved significantly with this broad-spectrum and task-oriented feature. Specifically, based on two well-known architectures PSMNet and GANet, our methods are superior to other robust algorithms when transferring from SceneFlow to KITTI 2015, KITTI 2012, and Middlebury. Code is available at https://github.com/SpadeLiu/Graft-PSMNet.

研究の動機と目的

• 合成データで学習したモデルが実世界の画像で失敗するドメインシフト問題に対処すること。
• 大規模事前学習モデルからの広帯域特徴が、ステレオマッチングにおけるクロスドメイン一般化を改善できるかどうかを調査すること。
• 特徴抽出とコスト集約を分離することで、モジュラで微調整なしの特徴グラフト化を可能にすること。
• 軽量なアダプタネットワークを用いて汎用特徴からタスク固有の情報を回復すること。
• トレーニング時にターゲットドメインのアノテーションを必要とせずドメイン一般化を達成すること。

提案手法

• VGGやResNetなどのImageNet事前学習モデルから得られる広帯域特徴を、ステレオマッチングネットワークのコスト集約モジュールにグラフトすること。
• 特徴間のコサイン類似度を用いてコストボリュームを構築することで、メトリクス不変性を確保し、意味的干渉を排除すること。
• 浅いタスク固有のアダプタネットワークを用いて、コスト計算の前にグラフト特徴を精緻化し、タスク適合性を向上させること。
• アダプタはソースドメイン（例：SceneFlow）でのみ学習させ、広帯域特徴の頑健性を活かして過学習を低減すること。
• PSMNetとGANetアーキテクチャにグラフトおよびアダプトされた特徴を統合し、Graft-PSMNetとGraft-GANetを構築すること。
• コサイン類似度を用いて任意のチャネル数の特徴をスカラーのコストボリュームに射影することで、多様な特徴との互換性を実現すること。

Figure 1 : The toy experiment to validate the grafting operation. Two models with the cost volume formed by feature concatenation (Subfigure c ) and cosine similarity (Subfigure e ) are trained on SceneFlow, then their feature extraction modules are replaced with a B road- S pectrum feature (Subfigu

実験結果

リサーチクエスチョン

• RQ1 大規模事前学習モデルからの広帯域特徴が、ステレオマッチングにおけるドメイン一般化を改善できるか？
• RQ2 コストボリューム構築にコサイン類似度を用いることで、微調整なしに事前学習特徴を効果的にグラフト化できるか？
• RQ3 軽量なアダプタネットワークが汎用特徴からタスク固有の情報を回復し、ステレオマッチング性能を向上させられるか？
• RQ4 GraftNetは、多様な実世界データセットにおいて、既存の堅牢でドメイン一般化型ステレオマッチング手法と比較してどのように性能を発揮するか？
• RQ5 グラフト特徴が、ETH3Dのような特異な画像スタイルを示すデータセットにおいてドメインシフトを処理する上で、どのような限界を示すか？

主な発見

• Graft-PSMNetとGraft-GANetは、KITTI 2015、KITTI 2012、Middleburyで最先端性能を達成し、それぞれ3ピixe誤差率が5.3%および5.4%にまで低下し、他の堅牢手法を上回る。
• ETH3Dでは、それぞれ10.7%および6.2%の3ピクセル誤差率を達成したが、ImageNetにおけるグレースケール画像表現の限界により性能が低かった。
• コサイン類似度ベースのコストボリュームを用いることで、ResNet18、ResNet50、OFEなど異なるモデルからの特徴のグラフトが可能となり、一貫した性能向上が得られた。
• 微調整なしのグラフト化は、直接的な特徴置換に比べて顕著にクロスドメイン性能を向上させ、一般化コスト空間の有効性を裏付けた。
• 色のジャマ（color jitter）などのデータ拡張を組み合わせることで、Graft-PSMNetとGraft-GANetはさらに優れた結果を達成し、KITTI 2015でそれぞれ4.8%および4.9%の3ピクセル誤差率を達成した。
• 本手法は、ターゲットドメインのアノテーションを必要とせず、広帯域特徴を効果的に活用できることを示しており、真のドメイン一般化を実現している。

Figure 2 : The overall architecture of GraftNet, consisting of a broad-spectrum feature, a feature adaptor, and a cost aggregation module. To build GraftNet, we first graft the feature from a classic model trained on the large-scale dataset ImageNet to the cost aggregation module of an ordinary ster