[論文レビュー] Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation

Yuan Shi, Fei Sha|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 130

ひとこと要約

本稿では、教師なしドメイン適応のための共同最適化フレームワークを提案する。このフレームワークは、情報理論的指標をターゲットドメインの分類誤差の代理として用い、ドメイン不変かつ判別可能な特徴表現を同時に学習する。勾配ベースの最適化と交差検証を活用し、ターゲットラベルが利用不可であっても、物体認識およびセンチメント分析のベンチマークで最先端の性能を達成する。

ABSTRACT

We study the problem of unsupervised domain adaptation, which aims to adapt classifiers trained on a labeled source domain to an unlabeled target domain. Many existing approaches first learn domain-invariant features and then construct classifiers with them. We propose a novel approach that jointly learn the both. Specifically, while the method identifies a feature space where data in the source and the target domains are similarly distributed, it also learns the feature space discriminatively, optimizing an information-theoretic metric as an proxy to the expected misclassification error on the target domain. We show how this optimization can be effectively carried out with simple gradient-based methods and how hyperparameters can be cross-validated without demanding any labeled data from the target domain. Empirical studies on benchmark tasks of object recognition and sentiment analysis validated our modeling assumptions and demonstrated significant improvement of our method over competing ones in classification accuracies.

研究の動機と目的

• ラベル付きソースドメインからラベルなしターゲットドメインへの分類器の適応を、ターゲットラベルにアクセスせずに実現すること。
• 分類器の構築と分離するドメイン不変特徴学習の既存手法の制限を克服すること。
• 特徴空間におけるドメイン不変性と判別力の両者を同時に最適化する統合フレームワークの構築。
• ターゲットドメインのラベルを必要とせず、ハイパーパramータチューニングを交差検証により可能にすること。
• 期待される誤分類誤差の情報理論的代理指標を最小化することで、ターゲットドメインにおける一般化性能の向上。

提案手法

• 共有特徴空間におけるドメイン差違を最小化するとともに、クラス分離性を最大化する共同目的関数を定式化する。
• 期待される誤分類誤差の代理として、特徴とラベルの間の相互情報量という情報理論的指標を用いる。
• 勾配ベースの手法を用いて目的関数を最適化し、特徴変換パラメータを更新する。
• ソースおよびターゲットデータを共有空間にマップするパラメトリックな特徴変換ネットワークを導入し、ドメインの整合性とクラスの分離性を実現する。
• ターゲットラベルに依存せずに、ソースデータのみを用いた交差検証によりハイパーパramータをチューニングする。
• 相互情報量と分類誤差の双対性を活用し、学習された特徴がドメイン不変かつ判別可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変性と判別力の共同最適化は、逐次的手法と比較して教師なしドメイン適応の性能向上に寄与するか？
• RQ2 ターゲットラベルが利用不可である状況下で、情報理論的指標がターゲットドメイン分類誤差の代理としてどれほど有効か？
• RQ3 ラベルなしターゲットデータにアクセスできない状況でも、ハイパーパramータを信頼性高くチューニングできる範囲はどの程度か？
• RQ4 本手法は、物体認識およびセンチメント分析など多様なドメイン適応タスクに一般化可能か？
• RQ5 精度と頑健性の観点から、本手法は最先端の手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、ベンチマークとしての物体認識およびセンチメント分析タスクにおいて、競合手法と比較して顕著な分類精度の向上を達成した。
• ドメイン不変性と判別力の共同最適化により、これらの要素を別々に学習する手法と比較して、ターゲットドメインにおける一般化性能が向上した。
• ターゲットラベルが存在しない状況下でも、誤分類誤差の情報理論的代理指標が学習プロセスを効果的に導くことができた。
• ハイパーパramータはソースドメインデータのみを用いた交差検証により信頼性高くチューニング可能であり、ターゲットアノテーションなしでの実用的導入が可能となった。
• 実験的結果から、本手法は多様なドメインシフトのシナリオにおいて有効であることが示され、モデル化仮定の妥当性が裏付けられた。
• 物体認識およびセンチメント分析ベンチマークの両方で、既存の最先端手法を上回り、本手法の頑健性と一般化能力が確認された。