[論文レビュー] Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation

Zhekai Du, Jingjing Li+3 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 8

ひとこと要約

本稿では、分類精度の代理指標として勾配信号を用い、ソースおよびターゲットサンプル間の勾配差異を最小化することでドメインシフトを低減する、新しい非教師ありドメイン適応手法であるCross-Domain Gradient Discrepancy Minimization (CGDM) を提案する。勾配に基づく監督とクラスタリングに基づく偽ラベル付けを組み合わせることで、カテゴリレベルのアライメントを向上させ、ImageCLEF、VisDA-2017、DomainNetで最先端の性能を達成し、先行手法より平均で1.5%の精度向上を達成した。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to generalize the knowledge learned from a well-labeled source domain to an unlabeled target domain. Recently, adversarial domain adaptation with two distinct classifiers (bi-classifier) has been introduced into UDA which is effective to align distributions between different domains. Previous bi-classifier adversarial learning methods only focus on the similarity between the outputs of two distinct classifiers. However, the similarity of the outputs cannot guarantee the accuracy of target samples, i.e., target samples may match to wrong categories even if the discrepancy between two classifiers is small. To challenge this issue, in this paper, we propose a cross-domain gradient discrepancy minimization (CGDM) method which explicitly minimizes the discrepancy of gradients generated by source samples and target samples. Specifically, the gradient gives a cue for the semantic information of target samples so it can be used as a good supervision to improve the accuracy of target samples. In order to compute the gradient signal of target samples, we further obtain target pseudo labels through a clustering-based self-supervised learning. Extensive experiments on three widely used UDA datasets show that our method surpasses many previous state-of-the-arts. Codes are available at https://github.com/lijin118/CGDM.

研究の動機と目的

• 出力差異が小さい場合でもターゲットサンプルでの正確な分類を保証しないバイクラスファイアドバーシャルラーニングにおける問題に対処すること。
• 分類精度の代理指標としての勾配信号を活用することで、カテゴリレベルのドメインアライメントを向上させること。
• 自己教師付きターゲットラベリングにおけるノイズの多い偽ラベルによる誤差伝搬を、クラスタリングに基づく戦略を用いることで軽減すること。
• 既存のバイクラスファイアドバーシャルフレームワークに統合可能な汎用的な損失機構を開発すること。

提案手法

• 本手法は、バックプロパゲーション中にソースおよびターゲットサンプルの勾配間のL1距離を最小化する勾配差異損失を導入する。
• ノイズの少ないより信頼性の高い偽ラベルをターゲットサンプルに生成するため、クラスタリングに基づく自己教師付き学習モジュールを採用する。
• 勾配差異最小化と自己教師付き学習を統合した包括的なバイクラスファイアドバーシャルトレーニング目的関数に統合する。
• 勾配信号は、特徴量に関する損失勾配を用いて計算され、モデルの信頼性と意味的整合性を反映する動的監督信号を提供する。
• 一般化された損失項として定式化されることで、基本的なバイクラスファイアドバーシャル設定を超えたさまざまなUDAパラダイムと互換性を持つ。
• ソースデータにおける教師あり損失、ターゲットデータにおける自己教師付き損失、勾配差異損失の間のトレードオフを考慮して、エンドツーエンドで訓練する。

Figure 1: Illustration of the issue in previous bi-classifier adversarial learning. Previous methods only consider the discrepancy between classifiers and neglect the accuracy of the target samples.

実験結果

リサーチクエスチョン

• RQ1 非教師ありドメイン適応において、ソースとターゲットサンプル間の勾配差異が分類精度の信頼できる代理指標として機能するか。
• RQ2 勾配差異を最小化することで、出力に基づく差異最小化と比較して、より良いカテゴリレベルのアライメントが達成されるか。
• RQ3 クラスタリングに基づく偽ラベル付けは、特に大きなドメインシフト下でも、自己教師付き学習の信頼性を向上させられるか。
• RQ4 本手法は、多様なデータセットにわたる頑健性と一般化性能の観点から、最先端のUDA手法と比較して優れているか。

主な発見

• ImageCLEFデータセットでは、提案手法が平均89.5%の精度を達成し、以前の最先端手法を1.5ポイント上回った。
• ImageCLEFにおけるC→Pのような挑戦的なドメインシフト状況では、顕著な精度向上を示し、大きなドメインギャップに対しても頑健であることが確認された。
• VisDA-2017およびDomainNetベンチマークでは、特に高カテゴリ数および高ドメインギャップ設定下で、既存の最先端手法を大きく上回った。
• アブレーションスタディの結果、勾配差異モジュールと自己教師付き学習モジュールの両方が性能向上に顕著に寄与しており、併用した際に最良の結果が得られた。
• ハイパーパramータにあまり敏感ではなく、勾配差異重みが1未満に保たれる場合、安定した収束を示した。
• t-SNEを用いた特徴量可視化により、CGDMを適用した後、ターゲット特徴量がカテゴリレベルでソース特徴量とよりよくアライメントされていることが確認され、分類能と分布アライメントの向上が示された。

Figure 2: An illustration of our framework. Both source samples and target samples are passed through the generator $G$ and two classifiers $F_{1}$ and $F_{2}$ . Then the supervised loss is used to minimize the classification error on source samples. We use a self-supervised mechanism to reduce the