[論文レビュー] Knowledge Adaptation: Teaching to Adapt

Sebastian Ruder, Parsa Ghaffari+1 more|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 29被引用数 41

ひとこと要約

本稿では、教師知識蒸留を拡張することで、元のデータを再トレーニングせずに新しいドメインに深層学習モデルを適応できる、新規の教師なしドメイン適応手法「Knowledge Adaptation」を提案する。信頼性の高い教師予測を特定する信頼度ベースの指標と、高信頼度の例を統合することで、感情分析ベンチマークにおいて、共同学習を必要とせずにマルチソースおよびシングルソース設定の両方で最先端の性能を達成する。

ABSTRACT

Domain adaptation is crucial in many real-world applications where the distribution of the training data differs from the distribution of the test data. Previous Deep Learning-based approaches to domain adaptation need to be trained jointly on source and target domain data and are therefore unappealing in scenarios where models need to be adapted to a large number of domains or where a domain is evolving, e.g. spam detection where attackers continuously change their tactics. To fill this gap, we propose Knowledge Adaptation, an extension of Knowledge Distillation (Bucilua et al., 2006; Hinton et al., 2015) to the domain adaptation scenario. We show how a student model achieves state-of-the-art results on unsupervised domain adaptation from multiple sources on a standard sentiment analysis benchmark by taking into account the domain-specific expertise of multiple teachers and the similarities between their domains. When learning from a single teacher, using domain similarity to gauge trustworthiness is inadequate. To this end, we propose a simple metric that correlates well with the teacher's accuracy in the target domain. We demonstrate that incorporating high-confidence examples selected by this metric enables the student model to achieve state-of-the-art performance in the single-source scenario.

研究の動機と目的

• ラベル付きデータが不足または入手不可能なターゲットドメインにおけるドメインシフトの課題に対処すること。
• ソースデータとターゲットデータを同時に学習する必要がある従来の深層学習ベースのドメイン適応手法の制限を克服し、大規模または進化し続けるドメインにおいて実用的でない問題を解決すること。
• ドメイン固有の信頼度に基づいて教師予測を部分的に信頼する学生モデルを用いて、事前学習済みソースモデルから新しいターゲットドメインへ効果的な知識移行を可能にすること。
• スケーラブルで教師なしの適応フレームワークを構築し、スパム検出や進化するユーザーのコミュニケーションスタイルのような動的環境に適応すること。

提案手法

• 教師知識蒸留をドメイン適応設定に拡張した「Knowledge Adaptation」を提案し、ソースドメインで事前学習された教師モデルから学習する学生モデルを構築する。
• 教師の予測の信頼性を評価するための指標「MCD（Maximum Confidence Discrepancy）」を導入し、実際の正答率と強く相関する。
• MCD指標を用いて選別された高信頼度の教師予測を、学生モデルのトレーニング中に偽ラベル付き例として活用する。
• 未ラベルのターゲットデータに対する交差エントロピー損失と、教師からの知識蒸留損失の重み付き組み合わせを用いて学生モデルをトレーニングする。
• マルチソース設定では、複数の教師からの寄与をドメイン類似度に基づいて重み付けすることで、多様なドメイン間での一般化性能を向上させる。
• シングルソース設定では、共同学習を回避するため、事前学習済みの教師モデルと信頼度ベースの予測フィルタリングに依存する。

実験結果

リサーチクエスチョン

• RQ1 共同学習を必要とせず、ソースデータとターゲットデータを同時にトレーニングせずに、知識蒸留を教師なしドメイン適応に効果的に適用できるか？
• RQ2 他の教師が利用できない状況で、学生モデルは1つの教師からのどの予測を信頼できると判断できるか？
• RQ3 ターゲットドメインにおける教師の正答率と相関する信頼度ベースの指標が、適応性能を向上させられるか？
• RQ4 教師が生成する高信頼度の偽ラベルを組み込むことで、すべての教師予測に依存する場合よりも性能が向上するか？
• RQ5 Knowledge Adaptationは、マルチソースおよびシングルソースのドメイン適応シナリオの両方で、既存の最先端手法を上回る性能を達成できるか？

主な発見

• Knowledge Adaptationでトレーニングされた学生モデルは、感情分析ベンチマークの12組のシングルソースドメイン適応ペアのうち8組で最先端の性能を達成し、ソースデータの共同学習を一切行わずとも優れている。
• マルチソース設定では、複数のドメイン固有の教師の予測を統合し、ドメイン類似度に基づいて寄与を重み付けすることで、ベースライン手法や教師単体のモデルを著しく上回る性能を達成した。
• 教師の信頼性を測るMCD指標は、ターゲットドメインにおける教師の実際の正答率と強く相関しており、高信頼度の例の信頼できる選別が可能である。
• シングルソース設定では、MCDスコアが最も高い上位500件の未ラベルターゲット例を偽教師付き学習に使用した場合、最も高い性能を達成した。
• 本手法は、事前学習済みの教師モデルに依存し、ソースデータの再トレーニングを回避することで、マルチソースおよびシングルソースの教師なしドメイン適応において、最先端の結果を達成した。
• 本アプローチは、進化し続けるまたは多数のドメインを含む実世界の応用、たとえばスパム検出やユーザー固有の会話エージェントにおいて、スケーラビリティと実用性を示した。