[論文レビュー] Reducing the Covariate Shift by Mirror Samples in Cross Domain Alignment

Zhao Yin, Minquan Wang+1 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 5

ひとこと要約

本稿では、元のデータ分布を歪めることなく、教師なしドメイン適応における共変量シフトを低減するため、対象ドメイン内に存在するソースドメインサンプルの仮想的同等物であるミラーサンプルを提案する。ミラーサンプル同士の特徴を一致させるミラーロスを導入することで、複数のベンチマークで最先端の性能を達成し、Office-Homeでは平均73.4%の正確度、USPS→MNISTでは99.2%を記録。距離関数や重み付け戦略の選択に対しても安定性を示す。

ABSTRACT

Eliminating the covariate shift cross domains is one of the common methods to deal with the issue of domain shift in visual unsupervised domain adaptation. However, current alignment methods, especially the prototype based or sample-level based methods neglect the structural properties of the underlying distribution and even break the condition of covariate shift. To relieve the limitations and conflicts, we introduce a novel concept named (virtual) mirror, which represents the equivalent sample in another domain. The equivalent sample pairs, named mirror pairs reflect the natural correspondence of the empirical distributions. Then a mirror loss, which aligns the mirror pairs cross domains, is constructed to enhance the alignment of the domains. The proposed method does not distort the internal structure of the underlying distribution. We also provide theoretical proof that the mirror samples and mirror loss have better asymptotic properties in reducing the domain shift. By applying the virtual mirror and mirror loss to the generic unsupervised domain adaptation model, we achieved consistent superior performance on several mainstream benchmarks. Code is available at https://github.com/CTI-VISION/Mirror-Sample

研究の動機と目的

• 真のデータ分布の構造的性質を無視することで、既存のドメインアライメント手法が元のデータ分布を歪めてしまうという限界を是正すること。
• 共変量シフト低減における根本的ジレンマを解消すること：偏った周辺分布をアライメントさせることで、条件付き確率がドメイン間で不変であるという仮定が破られる。
• 真のデータ分布の整合性を保ちながら、構造に配慮した新しいメカニズムによってドメインアライメントを向上させること。
• 生成モデルや明示的なスタイル変換に依存せずにドメインアライメントを強化する手法を開発すること。
• ミラーに基づくアライメントがドメインシフトを低減するにあたり、漸近的に優位である理論的根拠を提供すること。

提案手法

• ソースドメインのサンプルに対応する、同じクラスおよび視覚的パターンを持つ対象ドメイン内での仮想的同等物（ミラーサンプル）という概念を導入する。
• 各ソースサンプルに対して、ターゲットドメイン内でのk番目の近隣をユークリッド距離またはガウスカーネルに基づく距離を用いて特定し、ミラーペアを構築する。
• 各ソースサンプルとその対応するミラーサンプルの特徴を一致させるようにモデルを正則化するミラーロスを提案する。これにより、両者の距離を最小化する。
• トレーニング中にミラーロスと標準的な交差エントロピー損失をバランスさせるために、学習可能パラメータγを導入する。
• 距離に反比例する重みを割り当てることで、外れ値の近隣に強い影響を受けにくくなるように、重み付きミラーサンプル戦略を採用する。
• バックボーンアーキテクチャを変更せずに、分類ヘッドと特徴抽出器を備えた標準的な教師なしドメイン適応フレームワーク内にミラーロスを適用する。

実験結果

リサーチクエスチョン

• RQ1 ミラーサンプルは、真のデータ分布を歪めることなく、共変量シフトを低減するのに有効であるか？
• RQ2 ミラーペアのアライメントは、クロスドメイン分類ベンチマークにおける一般化性能と分類精度を向上させるか？
• RQ3 距離関数や近隣重み付け戦略の変化に対して、ミラーロスはどれほど頑健であるか？
• RQ4 生成モデルやサンプルレベルのアライメント手法に比べ、ミラーに基づく手法は教師なしドメイン適応で優れた性能を示すか？
• RQ5 ミラーに基づくアライメントの改善された漸近的挙動の理論的根拠は何か？

主な発見

• 提案手法は、Office-Homeベンチマークで73.4%の平均正確度を達成し、先行研究の最先端手法を上回った。
• ディジットデータセットでは、USPS→MNISTタスクで99.2%の正確度を記録し、CoGAN（89.1%）、CyCADA（96.5%）、DRANet（97.8%）を上回った。
• ミラーロスは、異なる距離関数や重み付け戦略に対しても頑健であり、k値、距離タイプ、重み定義の変更に対しても性能低下が最小限に抑えられた。
• 感度分析の結果、Office-HomeとOffice-31の両方でγ = 1.0が最適な性能を発揮することが判明。γ ∈ [1.0, 2.0]の範囲では、Office-Homeにおいても十分な性能が得られた。
• t-SNE可視化により、ミラーロスがトレーニング過程を通じてソースドメインとターゲットドメインのクラスタ構造をより一貫性を持ってアライメントしていることが確認された。
• 理論的分析により、ミラーサンプルとミラーロスが、ドメインシフト低減においてより優れた漸近的収束性を提供することが裏付けられた。