[论文解读] Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training

Hai Ye, Qingyu Tan+4 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 48被引用 5

一句话总结

本文提出类感知特征自蒸馏（CFd），一种无需微调的自训练方法，可将预训练语言模型（PrLM）特征适配至新领域和新语言。通过联合最大化互信息并最小化类内特征距离，CFd 提升了对噪声伪标签的鲁棒性，在 Amazon 评论数据集的跨领域与多语言情感分类任务中均实现了稳定的准确率提升。

ABSTRACT

Adapting pre-trained language models (PrLMs) (e.g., BERT) to new domains has gained much attention recently. Instead of fine-tuning PrLMs as done in most previous work, we investigate how to adapt the features of PrLMs to new domains without fine-tuning. We explore unsupervised domain adaptation (UDA) in this paper. With the features from PrLMs, we adapt the models trained with labeled data from the source domain to the unlabeled target domain. Self-training is widely used for UDA which predicts pseudo labels on the target domain data for training. However, the predicted pseudo labels inevitably include noise, which will negatively affect training a robust model. To improve the robustness of self-training, in this paper we present class-aware feature self-distillation (CFd) to learn discriminative features from PrLMs, in which PrLM features are self-distilled into a feature adaptation module and the features from the same class are more tightly clustered. We further extend CFd to a cross-language setting, in which language discrepancy is studied. Experiments on two monolingual and multilingual Amazon review datasets show that CFd can consistently improve the performance of self-training in cross-domain and cross-language settings.

研究动机与目标

• 解决在不微调的前提下将预训练语言模型（PrLM）适配至新领域和新语言的挑战。
• 通过减少噪声伪标签的负面影响，提升无监督领域自适应（UDA）中自训练的鲁棒性。
• 开发一个特征适配模块（FAM），通过类感知自蒸馏学习来自 PrLM 的判别性特征。
• 利用 XLM-R 将多种语言映射到共享语义空间，将该方法扩展至多语言设置。
• 通过实证验证，CFd 降低了理想联合假设的误差，表明泛化能力得到提升。

提出的方法

• 提出类感知特征自蒸馏（CFd），将来自预训练语言模型（PrLM）的特征蒸馏至特征适配模块（FAM），以提升特征的判别性。
• 最大化 PrLM 特征与 FAM 特征之间的互信息（MI），以确保 FAM 捕获高层语义表征。
• 最小化 FAM 输出中的类内特征距离，以收紧类簇并增强类间可分性。
• 采用重排序策略优先选择高置信度的伪标签预测，并在目标领域中平衡类别分布。
• 在 PrLM 的最后 N 个层上引入注意力机制，以有效融合中间特征，优于简单的平均融合。
• 利用 XLM-R 将 CFd 扩展至跨语言设置，通过其多语言表征空间实现在不同语言间的适配。

实验结果

研究问题

• RQ1 特征自蒸馏是否能在不微调预训练语言模型的前提下，提升无监督领域自适应中自训练的鲁棒性？
• RQ2 在特征蒸馏中引入类感知聚类，对目标领域上的模型泛化能力和误差降低有何影响？
• RQ3 CFd 在使用多语言预训练模型时，能在多大程度上提升跨语言与跨领域情感分类的性能？
• RQ4 与单层或平均层融合相比，对 PrLM 多层特征使用注意力机制是否能提升特征表征能力？
• RQ5 CFd 在降低理想联合假设误差方面，相较于基线自训练方法及其他蒸馏方法表现如何？

主要发现

• CFd 在 MonoAmazon 和 MultiAmazon 数据集的所有跨领域与跨语言设置中，均一致提升了自训练性能。
• 在 MonoAmazon 数据集上，CFd 在 BK→M 跨领域设置中达到 70.95% 的准确率，优于基线（66.59%）和仅使用 Fd 的变体（70.16%）。
• CFd 降低了理想假设的联合误差，其中 BK→M 设置下误差最低，证实了泛化能力的提升。
• 类内损失从基线的 966.38 显著降低至 CFd 的 12.17，表明 FAM 特征空间中类簇更加紧凑。
• A-distance 指标显示，p+CFd 的领域差异最小（0.22），表明领域对齐更好，领域偏移更小。
• 使用 XLM-R 最后 10 层的注意力机制结合 CFd 时性能最佳，优于单层和平均层（AVE）特征融合策略。