[论文解读] Knowledge Adaptation: Teaching to Adapt

Sebastian Ruder, Parsa Ghaffari+1 more|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 29被引用 41

一句话总结

本文提出知识适配（Knowledge Adaptation），一种新颖的无监督域自适应方法，将知识蒸馏扩展至域自适应场景，使深度学习模型能够在无需对源数据重新训练的情况下适应新领域。通过使用基于置信度的度量方法识别可信的教师模型预测，并引入高置信度样本，学生模型在情感分析基准上实现了最先进性能，在多源与单源设置下均优于先前方法，且无需联合训练。

ABSTRACT

Domain adaptation is crucial in many real-world applications where the distribution of the training data differs from the distribution of the test data. Previous Deep Learning-based approaches to domain adaptation need to be trained jointly on source and target domain data and are therefore unappealing in scenarios where models need to be adapted to a large number of domains or where a domain is evolving, e.g. spam detection where attackers continuously change their tactics. To fill this gap, we propose Knowledge Adaptation, an extension of Knowledge Distillation (Bucilua et al., 2006; Hinton et al., 2015) to the domain adaptation scenario. We show how a student model achieves state-of-the-art results on unsupervised domain adaptation from multiple sources on a standard sentiment analysis benchmark by taking into account the domain-specific expertise of multiple teachers and the similarities between their domains. When learning from a single teacher, using domain similarity to gauge trustworthiness is inadequate. To this end, we propose a simple metric that correlates well with the teacher's accuracy in the target domain. We demonstrate that incorporating high-confidence examples selected by this metric enables the student model to achieve state-of-the-art performance in the single-source scenario.

研究动机与目标

• 解决现实应用中目标领域标注数据稀缺或不可用时的领域分布偏移问题。
• 克服现有基于深度学习的域自适应方法的局限性，这些方法需要在源数据和目标数据上联合训练，使其在大规模或动态变化的领域中不切实际。
• 通过学生模型基于领域特定置信度选择性信任教师模型预测，实现从预训练源模型到新目标领域的有效知识迁移。
• 开发一种可扩展的无监督自适应框架，适用于动态环境，如垃圾邮件检测或不断演变的用户沟通风格。

提出的方法

• 提出知识适配作为知识蒸馏在域自适应场景下的扩展，其中学生模型从在源领域上训练的教师模型学习。
• 引入一种称为MCD（最大置信度差异）的度量方法，用于评估教师模型在目标领域预测的可信度，该度量与实际准确率高度相关。
• 利用通过MCD度量筛选出的高置信度教师预测作为伪标签样例，监督学生模型的训练过程。
• 采用交叉熵损失（在未标注目标数据上）与教师知识蒸馏损失的加权组合来训练学生模型。
• 在多源设置中，利用领域相似性对多个教师的贡献进行加权，提升在多样化领域中的泛化能力。
• 在单源设置中，该方法通过仅依赖预训练教师模型和基于置信度的预测过滤，避免了联合训练。

实验结果

研究问题

• RQ1 知识蒸馏能否在无需在源数据和目标数据上联合训练的情况下，有效应用于无监督域自适应？
• RQ2 当没有其他教师模型可供参考时，学生模型如何判断单个教师模型的哪些预测是可信的？
• RQ3 一种与教师模型在目标领域实际准确率相关的置信度度量方法，能否提升自适应性能？
• RQ4 引入由教师生成的高置信度伪标签，是否能带来优于使用全部教师预测的性能提升？
• RQ5 知识适配能否在多源与单源域自适应场景中均超越现有最先进方法？

主要发现

• 在情感分析基准的12组单源域自适应配对中，使用知识适配训练的学生模型在8组上超越了最先进水平，且无需对源数据进行任何联合训练。
• 在多源设置中，结合多个领域特定教师模型预测并利用领域相似性加权其贡献的学生模型，显著优于基线方法和仅使用教师模型的方法。
• 用于衡量教师可信度的MCD度量与教师在目标领域的实际准确率高度相关，从而可可靠地筛选出高置信度样本。
• 在单源场景中，使用MCD得分最高的前500个未标注目标样本进行伪监督训练，可获得最佳性能。
• 该方法在多源与单源无监督域自适应中均实现了最先进结果，且仅依赖预训练教师模型，避免了对源数据的重新训练。
• 该方法在动态或大量领域的实际应用中展现出可扩展性与实用性，例如垃圾邮件检测或用户特定对话代理。