[論文レビュー] Instance Relation Graph Guided Source-Free Domain Adaptive Object Detection

Vibashan VS, Poojan Oza+1 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、グラフ誘導型対照学習を用いて特徴表現を向上させるインスタンス関係グラフ（IRG）を活用する、ソースデータなしのドメイン適応オブジェクト検出手法を提案する。オブジェクト候補間の関係をモデル化し、グラフ蒸留を用いた学生・教師フレームワークを採用することで、ターゲットドメインへの一般化性能が向上し、Cityscapes→FoggyCityscapesの設定でベースライン手法よりも1.9 mAPの向上を達成し、最先端の性能を実現した。

ABSTRACT

Unsupervised Domain Adaptation (UDA) is an effective approach to tackle the issue of domain shift. Specifically, UDA methods try to align the source and target representations to improve the generalization on the target domain. Further, UDA methods work under the assumption that the source data is accessible during the adaptation process. However, in real-world scenarios, the labelled source data is often restricted due to privacy regulations, data transmission constraints, or proprietary data concerns. The Source-Free Domain Adaptation (SFDA) setting aims to alleviate these concerns by adapting a source-trained model for the target domain without requiring access to the source data. In this paper, we explore the SFDA setting for the task of adaptive object detection. To this end, we propose a novel training strategy for adapting a source-trained object detector to the target domain without source data. More precisely, we design a novel contrastive loss to enhance the target representations by exploiting the objects relations for a given target domain input. These object instance relations are modelled using an Instance Relation Graph (IRG) network, which are then used to guide the contrastive representation learning. In addition, we utilize a student-teacher based knowledge distillation strategy to avoid overfitting to the noisy pseudo-labels generated by the source-trained model. Extensive experiments on multiple object detection benchmark datasets show that the proposed approach is able to efficiently adapt source-trained object detectors to the target domain, outperforming previous state-of-the-art domain adaptive detection methods. Code and models are provided in \href{https://viudomain.github.io/irg-sfda-web/}{https://viudomain.github.io/irg-sfda-web/}.

研究の動機と目的

• プライバシーまたは特許制約によりソースデータが入手不可である状況下で、ドメインシフトが生じるオブジェクト検出の課題に対処すること。
• ソースデータやラベルにアクセスできない状況下でも、ターゲットドメインデータの特徴表現の質を向上させること。
• ソースで学習されたモデルから得られるノイズの多い疑似ラベルの影響を軽減するため、インスタンスレベルの関係性を強化することで特徴のロバスト性を向上させること。
• オブジェクトインスタンスの関係性を活用して高品質なポジティブペアを生成する、自己教師型対照学習戦略を開発すること。
• 複数のベンチマークにおいて、ソースフリーのドメイン適応におけるオブジェクト検出の最先端性能を達成すること。

提案手法

• ターゲットドメイン内のオブジェクト候補特徴間のペアワイズ関係をモデル化するため、グラフ畳み込みネットワークに基づくインスタンス関係グラフ（IRG）ネットワークを導入する。
• IRGを用いてポジティブペアとネガティブペアを特定する、グラフ誘導型対照学習（GCL）損失を設計する。
• 強化・弱化のオーグメンテーションを用いた学生・教師フレームワークを採用し、疑似ラベルの品質と特徴の一貫性を向上させる。
• 学生・教師ネットワーク間のIRG表現を一致させるためのグラフ蒸留損失を組み込み、知識伝達を強化する。
• 弱化・強化のオーグメンテーションを用いたMean-Teacherトレーニングを採用し、ソースデータが存在しない状況下でも学習の安定性とロバスト性を向上させる。
• 教師ネットワークの疑似ラベルを用いて検出器を訓練し、IRGと対照学習損失がターゲットドメインにおける表現の最適化を誘導する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト候補におけるインスタンスレベルの関係性をモデル化することで、ソースフリーのドメイン適応における特徴表現の質が向上するか？
• RQ2 ドメインシフト下のオブジェクト検出という文脈において、グラフ誘導型対照学習は標準的な対照学習と比べてどのように異なるか？
• RQ3 ソースデータが利用不可な状況下で、グラフ蒸留を統合した学生・教師フレームワークが性能向上に寄与するか？
• RQ4 インスタンス関係グラフは、ソースフリー適応におけるノイズの多い疑似ラベルの影響をどの程度軽減できるか？
• RQ5 本手法は、天候の変化やカメラ設定の違いといった多様なドメインシフトシナリオに一般化可能か？

主な発見

• Cityscapes→FoggyCityscapesの設定で、本手法は37.1 mAPを達成し、以前のSOTA SFOD手法を1.0 mAP上回った。
• グラフ誘導型対照学習（GCL）を単独で追加すると、グラフ蒸留を含むベースライン（35.9 mAP）から37.1 mAPまで1.9 mAPの向上を達成した。
• Mean-Teacherフレームワークにおける強化・弱化（SW）オーグメンテーション戦略が最良の性能を示し、弱化・弱化（WW）および強化・強化（SS）の変種と比較してmAPが2.1ポイント向上した。
• KITTI→Cityscapesの設定でも、SFOD手法を1.1 mAP上回り、異なるタイプのドメインシフトに対してもロバストであることが示された。
• 定性的な分析から、IRGネットワークが効果的にインスタンス間の関係性を学習し、より一貫性のある提案表現を生成していることが確認された。
• アブレーションスタディの結果、グラフ蒸留とGCLを併用することで最も高い性能向上が得られ、両者の補完的役割が裏付けられた。