[論文レビュー] Towards Corruption-Agnostic Robust Domain Adaptation

Yifan Xu, Kekai Sheng+4 more|arXiv (Cornell University)|Apr 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 4

ひとこと要約

本稿では、清浄データにおける高い精度を維持しつつ、予期しない汚染に対して耐性を持つよう強化された、腐敗に左右されない強力なドメイン適応（CRDA）という新しいフレームワークを提案する。ドメイン差分生成器（DDG）を導入し、予測不能な汚染を模倣するようにドメインのズレを最大化するサンプルを合成することで、ドメインズレの影響を強化する。また、訓練の安定化と耐性の向上を図る教師-生徒型対照的学習スキームを採用し、元の精度と汚染耐性の両面でベースラインを上回る性能を達成する。

ABSTRACT

Big progress has been achieved in domain adaptation in decades. Existing works are always based on an ideal assumption that testing target domain are i.i.d. with training target domains. However, due to unpredictable corruptions (e.g., noise and blur) in real data like web images, domain adaptation methods are increasingly required to be corruption robust on target domains. In this paper, we investigate a new task, Corruption-agnostic Robust Domain Adaptation (CRDA): to be accurate on original data and robust against unavailable-for-training corruptions on target domains. This task is non-trivial due to large domain discrepancy and unsupervised target domains. We observe that simple combinations of popular methods of domain adaptation and corruption robustness have sub-optimal CRDA results. We propose a new approach based on two technical insights into CRDA: 1) an easy-to-plug module called Domain Discrepancy Generator (DDG) that generates samples that enlarge domain discrepancy to mimic unpredictable corruptions; 2) a simple but effective teacher-student scheme with contrastive loss to enhance the constraints on target domains. Experiments verify that DDG keeps or even improves performance on original data and achieves better corruption robustness that baselines.

研究の動機と目的

• 清浄データでは優れた性能を示すが、現実世界のデータ汚染では失敗するドメイン適応モデルのギャップを解消すること。
• 元のターゲットドメインでの高い精度を維持しつつ、未観測で予測不能な汚染に対して耐性を持つ手法を開発すること。
• 汚染固有のトレーニングデータを必要とせず、教師あり設定でドメインズレの適応と汚染耐性を統合すること。
• 既存のドメイン適応手法と汚染耐性手法を組み合わせた場合に生じるドメインズレとターゲットドメインにおける弱い教師信号の問題を克服し、劣化した結果を回避すること。

提案手法

• ドメインズレを最大限に引き出すことで、予期しない現実世界の汚染を模倣する合成データサンプルを生成する、プラグイン型モジュール「ドメイン差分生成器（DDG）」を提案する。
• 特徴空間におけるδサイクル境界の理論的分析に基づき、勾配に基づく最適化戦略を用いて、最大のドメインズレを引き起こすサンプルを同定・生成する。
• 対照的損失を用いた教師-生徒型ウォームアップスキームを導入し、初期訓練の安定化とラベルなしターゲットドメインにおける特徴一般化の向上を図る。
• 画像の清浄版と汚染版の特徴を対照的に学習させることで、汚染強度の変化に依存しない表現を実現する。
• DDGが生成したサンプルを対照的損失における正例ペアとして用い、事前学習済みの教師モデルからロバストな特徴を学生モデルが蒸留する。
• 教師-生徒型の対照的学習を、ラベルなしドメイン適応設定でエンドツーエンドに適用し、トレーニング中に汚染データのラベルが不要である。

Figure 1. Instances of corruption-agnostic robust domain adaptation (CRDA). To our surprise, existing domain adaptation method (CDAN+TN (Wang et al . , 2019 ) ) and corruption robust method (AugMix (Hendrycks et al . , 2020b ) ), even their combination, suffer from unseen corruptions on target domai

実験結果

リサーチクエスチョン

• RQ1 汚染固有のトレーニングデータが入手不可な状況下でも、ドメイン適応モデルを未観測の汚染に対して耐性を持たせることは可能か？
• RQ2 ドメインズレを活用して、実際の汚染に類似した摂動を生成し、耐性を向上させることは可能か？
• RQ3 教師-生徒型対照的学習スキームは、ドメイン適応におけるラベルなしターゲットドメインでの耐性と一般化性能を向上させるか？
• RQ4 統合フレームワークにより、清浄データでの性能と多様な汚染に対する耐性を同時に向上させることは可能か？
• RQ5 ドメイン適応において、清浄データの精度と汚染耐性の間にトレードオフが生じるか？

主な発見

• 提案されたCRDA手法は、清浄データおよび汚染データの両方で最先端の性能を達成し、Office-HomeデータセットにおけるAr→Rw設定で、最も深刻なコントラスト汚染下で23.0%の誤差率を記録した。
• DDGモジュールはベースラインと比較して、ガラスブラー やJPEG圧縮などの深刻な汚染に対して、誤差率を最大20%まで低減し、汚染耐性を顕著に向上させた。
• 教師-生徒型ウォームアップスキームは、元の精度と耐性の両方を向上させ、清浄データでは21.2%、コントラスト汚染では23.0%の誤差率を達成し、データオーグメンテーションベースラインを上回った。
• アブレーションスタディの結果、DDGにおける更新ステップ幅η > 2δを設定した場合、δサイクルの端縁点に焦点を当てた場合に最も優れた性能が得られ、理論的知見の妥当性を裏付けた。
• モデルは順序に依存しない表現を学習する：単一の汚染強度でのみ学習させた場合でも、全強度レベルにわたり良好な一般化性能を示し、一貫した特徴距離トレンドが観察された。
• DDGは、耐性を追加する一方で元のドメイン適応精度を維持または向上させ、一般的に見られる精度-耐性トレードオフを回避した。

Figure 2. Examples of $15$ kinds of corruptions.