[論文レビュー] Principled Hybrids of Generative and Discriminative Domain Adaptation

Han Zhao, Zhenyao Zhu+3 more|arXiv (Cornell University)|May 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 4被引用数 3

ひとこと要約

本論文は、柔軟な事前分布を用いてパラメータをモデル化することで、生成的および判別的ドメイン適応を統一する原理的確立された確率的フレームワークを提案する。これにより、ラベル付きソースデータとラベルなしソース／ターゲットデータを同時に活用できる。このフレームワークは、自己符号化器の再構成損失が周辺尤度の上界であることを裏付ける。その結果、判別的・ドメイン不変・頑健な表現を同時に学習するニューラルネットワークモデルDAutoが得られ、テキスト・画像・音声のドメイン適応タスクにおいて最先端（SOTA）の手法を上回る性能を発揮する。

ABSTRACT

We propose a probabilistic framework for domain adaptation that blends both generative and discriminative modeling in a principled way. Under this framework, generative and discriminative models correspond to specific choices of the prior over parameters. This provides us a very general way to interpolate between generative and discriminative extremes through different choices of priors. By maximizing both the marginal and the conditional log-likelihoods, models derived from this framework can use both labeled instances from the source domain as well as unlabeled instances from both source and target domains. Under this framework, we show that the popular reconstruction loss of autoencoder corresponds to an upper bound of the negative marginal log-likelihoods of unlabeled instances, where marginal distributions are given by proper kernel density estimations. This provides a way to interpret the empirical success of autoencoders in domain adaptation and semi-supervised learning. We instantiate our framework using neural networks, and build a concrete model, DAuto. Empirically, we demonstrate the effectiveness of DAuto on text, image and speech datasets, showing that it outperforms related competitors when domain adaptation is possible.

研究の動機と目的

• 機械学習におけるドメインシフトの課題に取り組むこと。具体的には、ラベル付きデータがソースドメインとターゲットドメインで異なる場合を想定する。
• 生成的および判別的モデリングを、ラベル付きおよびラベルなしデータを統合的に活用できる一貫した確率的フレームワークに統合し、両者の極端な状態の間を滑らかに補間可能にする。
• 自己符号化器が半教師あり学習およびドメイン適応の文脈で実現する実験的成果の背後にある理論的根拠を提供すること。
• ラベル付きおよびラベルなしソース／ターゲットドメインデータを活用して一般化性能を向上させる、柔軟でエンドツーエンドの深層学習モデル（DAuto）を開発すること。
• 時系列データへの応用を拡張し、異なった発音の音声認識におけるクロスアクセント適応の文脈で、有効性を実証すること。

提案手法

• 生成的および判別的モデルが、共有パラメータおよびタスク固有パラメータの事前分布の違いに応じて特別なケースとして現れる階層ベイジアンモデルを採用する。
• ラベルなしデータの周辺尤度対数およびラベルありデータの条件付き尤度対数を同時に最大化することで、両ドメインのラベルなしインスタンスを統合的に活用できる。
• 周辺分布をカーネル密度推定法で仮定した場合、自己符号化器の再構成損失が負の周辺尤度の上界であることが明示的に示される。
• 共有エンコーダー、判別的ヘッド、およびソースおよびターゲットドメインの両方の再構成ブランチを備えた深層ニューラルネットワークを用いてDAutoを実装する。
• 判別的、ドメイン不変、再構成の3つの目的関数を同時に最適化し、敵対的またはMMD形式のドメイン整合を用いて訓練する。
• 時系列データ処理に適応したアーキテクチャに拡張することで、フレームワークを時系列モデリングに応用し、クロスアクセント音声認識の実験で妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 生成的および判別的モデリングをドメイン適応の文脈で滑らかに補間できる統一された確率的フレームワークを設計可能か？
• RQ2 自己符号化器が半教師あり学習およびドメイン適応の文脈で性能向上をもたらす理由は、原理的確率的解釈によって説明可能か？
• RQ3 1つの深層ニューラルネットワークモデルが、ラベル付きおよびラベルなしデータを同時に活用して、判別的・ドメイン不変・頑健な表現を効果的に同時に学習可能か？
• RQ4 提案されたフレームワークは、テキスト・画像・音声など多様なデータタイプにおけるクロスドメイン転移学習で、既存のSOTA手法を上回る性能を発揮するか？
• RQ5 本フレームワークは、発音の異なる音声など、発話の系列データ（時系列データ）に自然に拡張可能であり、実世界の応用における耐障害性を向上させられるか？

主な発見

• Amazonベンチマークデータセットにおいて、DAutoはMLP、mSDA、Ladder、DANNを含む16のドメイン適応タスクでSOTA性能を達成した。
• MNISTの合成実験では、ドメインシフトが中程度の場合はDAutoが優れた性能を示し、ターゲットドメインのラベルなしデータを効果的に活用できることが確認された。
• 音声認識の実験では、US-CNおよびCN-USの移行において、DAutoはCTC損失を最大25%まで低減し、クロスアクセント適応の有効性を示した。
• 対応t検定の結果、DAutoはDANNを平均的に上回る性能を示し、p = 0.072の有意差が得られた。また、25%のタスクでp < 0.05の有意差が確認された。
• ソースドメインとターゲットドメインが類似している場合（例：US対CN）、DANNおよびDAutoはいずれもベースラインを上回った。これは、両手法が半教師あり学習の能力を有していることを裏付けた。
• 定性的な分析から、すべての手法が失敗する困難な適応状況においても、DAutoは頑健性を維持しており、分布シフト下での一般化性能の向上が示唆された。