[論文レビュー] Cross-domain Detection via Graph-induced Prototype Alignment

Minghao Xu, Hang Wang+3 more|arXiv (Cornell University)|Mar 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 18

ひとこと要約

本稿では、グラフベースの特徴集約による正確なインスタンスレベル特徴と、カテゴリレベルのドメイン整合のためのプロトタイプ表現を用いることで、クロスドメインオブジェクト検出の性能を向上させる二段階フレームワークであるGraph-induced Prototype Alignment (GPA) を提案する。さらに、クラス再重み付けされた対照的損失を用いることで、クラスインバランスが著しいデータセットにおける適応性能を向上させ、Faster R-CNNを組み合わせることで、複数のクロスドメイン検出ベンチマークで最先端の性能を達成する。

ABSTRACT

Applying the knowledge of an object detector trained on a specific domain directly onto a new domain is risky, as the gap between two domains can severely degrade model's performance. Furthermore, since different instances commonly embody distinct modal information in object detection scenario, the feature alignment of source and target domain is hard to be realized. To mitigate these problems, we propose a Graph-induced Prototype Alignment (GPA) framework to seek for category-level domain alignment via elaborate prototype representations. In the nutshell, more precise instance-level features are obtained through graph-based information propagation among region proposals, and, on such basis, the prototype representation of each class is derived for category-level domain alignment. In addition, in order to alleviate the negative effect of class-imbalance on domain adaptation, we design a Class-reweighted Contrastive Loss to harmonize the adaptation training process. Combining with Faster R-CNN, the proposed framework conducts feature alignment in a two-stage manner. Comprehensive results on various cross-domain detection tasks demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at https://github.com/ChrisAllenMing/GPA-detection.

研究の動機と目的

• ソースドメインのモデルがドメイン間の分布ギャップのためターゲットドメインで性能を低下させるという、クロスドメインオブジェクト検出におけるドメインシフトの問題に対処すること。
• 領域提案における不完全でマルチモーダルなインスタンス表現が、効果的な特徴整合を妨げるという課題を克服すること。
• 無教師ドメイン適応において低リソースクラスで性能が低下するのを緩和し、不均衡なカテゴリ間で適応を調和させること。
• Faster R-CNNをバックボーンとして用い、まず粗いグレインのフォアグラウンド整合、次に細かいグレインのクラス別整合を行う段階的で二段階の特徴整合を可能にすること。

提案手法

• グラフベースの領域集約は、領域提案の位置とサイズを用いて関係性グラフを構築し、特徴を伝搬・集約することで、インスタンスレベル表現の精度を向上させる。
• 信頼度誘導型マージは、マルチモーダルなインスタンス特徴をクラスプロトタイプに統合し、代表的な埋め込みを用いてカテゴリレベルのドメイン整合を実現する。
• クラス再重み付けされた対照的損失は、未代表的なクラスに高い学習重みを割り当て、カテゴリ間での適応をバランスさせ、一般化性能を向上させる。
• 二段階の整合が実装される：まず、RPNでフォアグラウンドおよびバックグラウンドクラスにわたるドメイン不変特徴が学習され、次にRCNNでクラス別整合が実施され、細粒度の適応が達成される。
• フレームワークはFaster R-CNNと統合され、RPNおよびRCNN段階の両方でドメイン整合が適用され、ドメイン間で特徴を段階的に整合する。
• 本手法はグラフ畳み込み層に学習可能なパrameterを用いるが、消去実験では明示的な監視が欠如するドメイン適応の文脈において、パラメータフリーのバージョンがより優れた性能を示すことが判明している。

実験結果

リサーチクエスチョン

• RQ1 領域提案間でのグラフベースのメッセージパッシングが、クロスドメインオブジェクト検出におけるインスタンスレベル特徴表現を改善できるか？
• RQ2 インスタンスレベルの整合と比較して、プロトタイプベースのカテゴリレベル整合がドメインシフトをどれほど効果的に低減できるか？
• RQ3 クラス再重み付けされた対照的損失は、マルチクラスのクロスドメイン検出における低リソースクラスの適応性能を向上させるか？
• RQ4 二段階の整合（RPN + RCNN）と単一段階の整合の間で、ドメイン適応性能にどのような影響を与えるか？
• RQ5 検出とドメイン適応損失の間のトレードオフハイパーパrameterに、モデルの性能がどれほど感受的か？

主な発見

• GPAフレームワークは、SIM 10k → Cityscapes、Cityscapes → Foggy Cityscapes、COCO → Cityscapes など、複数のクロスドメイン検出ベンチマークで最先端の性能を達成する。
• 二段階の整合は一括段階の構成を常に上回り、粗いグレインから細かいグレインへの段階的整合の利点を示している。
• モデルはハイパーパrameterの変動に強く、mAPはλ₁とλ₂の広い範囲で安定しており、両者が非ゼロのときに最適な性能を示す。
• クラス再重み付けされた対照的損失は、バランスパラメータγ ≈ 2.0のときmAPが最大に達し、この設定でレアクラスの適応が改善されていることが示された。
• t-SNE可視化により、提案手法がソースのみのベースラインと比較して、ソースドメインとターゲットドメインの特徴をより効果的に整合していることが確認され、明確なクラス分離が得られている。
• 定性的な結果では、GPAが誤検出を低減し、特に重度の隠蔽状態でも局所化精度を向上させ、DA [5] などのベースライン手法よりも複雑な状況下で優れた性能を発揮している。