[論文レビュー] Improve Unsupervised Domain Adaptation with Mixup Training

Shen Yan, Huan Song+3 more|arXiv (Cornell University)|Jan 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 122

ひとこと要約

本論文は IIMT を提案し、特徴レベルの一貫性正則化とドメイン対向学習を用いて、視覚検知と HAR タスクに跨る教師なしドメイン適応を改善する、クロスドメインおよび intra-domain mixup 学習を強制するフレームワークである。

ABSTRACT

Unsupervised domain adaptation studies the problem of utilizing a relevant source domain with abundant labels to build predictive modeling for an unannotated target domain. Recent work observe that the popular adversarial approach of learning domain-invariant features is insufficient to achieve desirable target domain performance and thus introduce additional training constraints, e.g. cluster assumption. However, these approaches impose the constraints on source and target domains individually, ignoring the important interplay between them. In this work, we propose to enforce training constraints across domains using mixup formulation to directly address the generalization performance for target data. In order to tackle potentially huge domain discrepancy, we further propose a feature-level consistency regularizer to facilitate the inter-domain constraint. When adding intra-domain mixup and domain adversarial learning, our general framework significantly improves state-of-the-art performance on several important tasks from both image classification and human activity recognition.

研究の動機と目的

• ソースとターゲットの制約を別々に扱うドメイン対向法の限界を解決する。
• mixupを活用してクロスドメインの監督を作り、予測の線形性を強制する。
• 大規模なドメイン差異の下で mixup を補助する特徴レベルの一貫性正則化を導入する。
• 視覚系および HAR のドメイン適応ベンチマークにおいて最先端手法を上回る改善を示す。

提案手法

• 推定されたターゲットラベルを弱い supervise として用い、ソースとターゲット間でインタードメインの mixup を適用する。
• ターゲットサンプルを拡張し、予測を平均化し、温度制御された Softmax でシャープ化してターゲット仮想ラベルを計算する。
• クロスドメインのラベルレベルの mixup 損失とクロスドメインの特徴レベルの mixup 損失（L_q および L_z）を課す。
• ドメイン不変特徴を促進するドメイン対向損失を組み込む（DANN）。
• ソース内およびターゲット内でラベルレベルの mixup を用いてイントラドメイン混合を実行する（L_s および L_t）。
• すべての損失を調整可能な重みを持つ最終目的関数に結合し、ターゲット特有の損失の重みを徐々に増加させる。

実験結果

リサーチクエスチョン

• RQ1 従来のドメイン対向訓練を超えて、クロスドメイン mixup 監督はラベルなしターゲット領域への一般化を改善できるか？
• RQ2 特徴レベルの一貫性正則化子は、ドメイン差が大きい場合に効果的な mixup を促進するか？
• RQ3 画像分類と HAR タスクにおいて、インター+イントラドメインの mixup コンポーネントは性能にどのように寄与するか？

主な発見

• IIMT はいくつかの視覚的 UDA ベンチマークおよび HAR タスクで最先端手法を大幅に上回る。
• アブレーション実験では、インター domain およびイントラドメインの mixup コンポーネントはそれぞれ改善をもたらし、インター-domain mixup の組み合わせが顕著な改善を生む。
• イントラドメイン mixup 単独でも、VAT などの他のリプシッツ制約法と張り合う予測の安定性を示す。
• 本フレームワークは、MNIST、SVHN、CIFAR- STL、OPPORTUNITY HAR データセットなど、多様なドメインで頑健な改善を示す。