[論文レビュー] Cross-Domain Adaptive Teacher for Object Detection

Yu-Jhe Li, Xiaoliang Dai+7 more|arXiv (Cornell University)|Nov 25, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、ドメインアダプティブラーニングと弱い・強いデータオーグメンテーションを用いてドメインシフトを軽減する、新しい教師・生徒フレームワークであるAdaptive Teacher (AT) を提案する。ターゲット固有の教師モデルと、敵対的特徴アライメントと相互学習を用いたクロスドメインの生徒モデルを訓練することで、ATはFoggy Cityscapesで50.9%のmAPを達成し、SOTA手法および完全に教師ありのOracleモデルをそれぞれ9.2%および8.2%上回った。

ABSTRACT

We address the task of domain adaptation in object detection, where there is a domain gap between a domain with annotations (source) and a domain of interest without annotations (target). As an effective semi-supervised learning method, the teacher-student framework (a student model is supervised by the pseudo labels from a teacher model) has also yielded a large accuracy gain in cross-domain object detection. However, it suffers from the domain shift and generates many low-quality pseudo labels ( extit{e.g.,} false positives), which leads to sub-optimal performance. To mitigate this problem, we propose a teacher-student framework named Adaptive Teacher (AT) which leverages domain adversarial learning and weak-strong data augmentation to address the domain gap. Specifically, we employ feature-level adversarial training in the student model, allowing features derived from the source and target domains to share similar distributions. This process ensures the student model produces domain-invariant features. Furthermore, we apply weak-strong augmentation and mutual learning between the teacher model (taking data from the target domain) and the student model (taking data from both domains). This enables the teacher model to learn the knowledge from the student model without being biased to the source domain. We show that AT demonstrates superiority over existing approaches and even Oracle (fully-supervised) models by a large margin. For example, we achieve 50.9% (49.3%) mAP on Foggy Cityscape (Clipart1K), which is 9.2% (5.2%) and 8.2% (11.0%) higher than previous state-of-the-art and Oracle, respectively.

研究の動機と目的

• ソースドメインで訓練された教師モデルがターゲットドメインで低品質な疑似ラベルを生成するという、クロスドメインオブジェクト検出におけるドメインシフトの課題に対処すること。
• ドメインギャップに起因する誤検出を低減することで、半教師ありドメイン適応における疑似ラベル品質を向上させること。
• トレーニング中にターゲットドメインの画像を必要とせず、未観測ドメインにも一般化しやすい自己学習フレームワークを開発すること。
• クロスドメイン検出ベンチマークにおいて、既存のSOTA手法およびOracle（完全に教師あり）モデルを上回る性能を達成すること。

提案手法

• ドメインバイアスと知識蒸留を分離するために、ターゲット固有の教師モデルとクロスドメインの生徒モデルを備えた二重モデルアーキテクチャを導入する。
• 勾配反転層を用いて生徒モデルでドメイン敵対的トレーニングを実施し、ソースドメインとターゲットドメインの特徴分布をアライメントする。
• 教師は弱いオーグメンテーション、生徒は強いオーグメンテーションを用いる弱い・強いデータオーグメンテーションを採用し、疑似ラベルの安定性を向上させる。
• 教師がターゲットドメインデータに対して疑似ラベルを生成し、それを生徒を指導する相互学習を教師と生徒モデル間で実施する。
• 生徒モデルにドメイン識別器を導入し、敵対的損失によりドメイン差を最小化することで、ドメイン不変表現を促進する。
• 教師モデルのパラメータ更新に指数移動平均（EMA）を用いることで、トレーニングの安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインと大きなドメインギャップを有するターゲットドメインにおいて、教師・生徒フレームワークが高品質な疑似ラベルを生成できるか？
• RQ2 ドメイン敵対的学習は、クロスドメインオブジェクト検出における疑似ラベル品質とモデル一般化性能にどのように影響するか？
• RQ3 弱い・強いデータオーグメンテーションは、ドメイン適応における疑似ラベルの安定性と検出精度をどの程度向上させるか？
• RQ4 ターゲットドメインラベルを一切使用せずに訓練された自己学習フレームワークが、未観測ターゲットドメインにおいて完全に教師ありのOracleモデルを上回れるか？

主な発見

• Adaptive TeacherはFoggy Cityscapesで50.9%のmAPを達成し、前回のSOTAより9.2%高く、Oracleモデルより8.2%高い。
• Clipart1Kでは49.3%のmAPを達成し、SOTAを5.2%、Oracleを11.0%上回った。
• アブレーションスタディでは、敵対的損失を除去するとClipart1Kで性能が8.7%低下し、誤検出の低減においてその重要性が示された。
• 弱い・強いオーグメンテーションを除外すると4–5%の性能低下が生じ、疑似ラベルの安定性を高める上でその重要性が裏付けられた。
• 未観測ドメインに対しても効果的に一般化し、ドメイン一般化実験ではMTおよびOracleモデルを上回った。
• 敵対的学習と弱い・強いオーグメンテーションの組み合わせにより、疑似ラベルの誤検出率が最大35%まで低下した。