[論文レビュー] Improving Unsupervised Domain Adaptation with Variational Information Bottleneck

Yuxuan Song, Lantao Yu+6 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 9

ひとこと要約

本稿では、変分情報ボトルネック正則化を用いてタスクに不要な要因を特徴抽出器が排除するように制約することで、特徴の転送可能性を向上させる、新たな教師なしドメイン適応手法である変分ボトルネックドメイン適応（VBDA）を提案する。条件付きエントロピーの最小化と情報ボトルネック制約を併用することで、複数のベンチマークで最先端の性能を達成し、SVHN→MNISTでは前人最高の手法より最大3.3%、Office-Homeでは0.41%の向上を達成した。

ABSTRACT

Domain adaptation aims to leverage the supervision signal of source domain to obtain an accurate model for target domain, where the labels are not available. To leverage and adapt the label information from source domain, most existing methods employ a feature extracting function and match the marginal distributions of source and target domains in a shared feature space. In this paper, from the perspective of information theory, we show that representation matching is actually an insufficient constraint on the feature space for obtaining a model with good generalization performance in target domain. We then propose variational bottleneck domain adaptation (VBDA), a new domain adaptation method which improves feature transferability by explicitly enforcing the feature extractor to ignore the task-irrelevant factors and focus on the information that is essential to the task of interest for both source and target domains. Extensive experimental results demonstrate that VBDA significantly outperforms state-of-the-art methods across three domain adaptation benchmark datasets.

研究の動機と目的

• 従来のドメイン適応手法が周辺特徴分布の一致に依存するという限界に対処すること。これは、ドメイン不変ではあるがタスクに不要な要因が生じ、逆転送を引き起こす可能性がある。
• 情報ボトルネックの原則に従い、学習された表現から不要な情報を明示的に除去することで、ターゲットドメインにおけるモデルの一般化性能を向上させること。
• クラスタ仮説のような強い仮定を、より現実的なものにするために、よりクリアで意味的に整合性の取れた表現を学習すること。
• 情報保持と不要要因の抑制のバランスを取る理論的根拠に基づいた正則化メカニズムを提供すること。

提案手法

• 入力と表現の間の相互情報量を制約するための変分情報ボトルネック（VIB）正則化項を導入し、モデルがタスクに必要な情報のみを保持するように促進する。
• 条件付きエントロピー最小化とVIBを組み合わせることで、潜在空間におけるラベルの一貫性と表現の純度の両方を最適化する。
• 変分後解釈を用いて相互情報量の上界を推定し、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• 情報フローを個別に制御できるように、ソース（$\lambda_s$）およびターゲット（$\lambda_t$）ドメインに別々のボトルネック正則化項を適用する。
• 2段階の学習目的を採用：ドメイン判別器によるドメイン不変特徴学習と分類ヘッドによる予測の両方を、VIBおよび条件付きエントロピーで正則化する。
• 情報ボトルネックの原則を活用し、学習された表現$Z$がラベル$Y$を予測するのに必要な統計量のみを含むように保証し、不要な要因を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック正則化を強制することで、周辺分布マッチングを超えて教師なしドメイン適応における一般化性能が向上するか？
• RQ2 ソースとターゲットドメインの正則化を$\lambda_s$および$\lambda_t$で分離することで、より良い表現学習と逆転送の低減が達成されるか？
• RQ3 特に大きなドメインギャップを示すOffice-Homeのような困難なベンチマークにおいて、提案手法がどの程度性能を向上させるか？
• RQ4 条件付きエントロピーと情報ボトルネックを併用することで、学習の安定性と収束性にどのような影響を与えるか？
• RQ5 情報ボトルネック機構により、クラスタ仮説のような強い仮定が実際の応用でより効果的になるか？

主な発見

• VBDAは、挑戦的なSVHN→MNISTドメイン適応タスクにおいて、前人最高の手法CyCADAよりも3.3%の精度向上を達成した。
• Office-Homeベンチマークでは、平均でCDANを0.41%上回り、大きなドメインギャップと高いカテゴリ多様性を持つデータセットにおいても強力な性能を示した。
• アブレーションスタディの結果、条件付きエントロピーと情報ボトルネックの両方の項を組み合わせることで安定した学習と最適な性能が得られ、一方の項のみを用いると不安定さや性能の低下が生じた。
• t-SNE可視化により、DANNやMADAと比較してVBDAが特徴空間においてよりコンパクトで明確に分離されたクラスクラスタを学習していることが確認され、意味的整合性の向上が示された。
• 訓練過程において、表現とラベルの間の相互情報量$I(Y;Z)$は増加し、入力-表現相互情報量の上界$I_U(X;Z)$は減少した。これは、不要な要因の有効な除去が行われたことを裏付けた。
• ハイパーパramータ分析の結果、最適な性能は$\lambda_s = 10^{-4}$の中程度の値と$\lambda_t < \lambda_s$の組み合わせで達成され、SVHNはMNISTよりも不要な情報が多かったことが示唆された。