[论文解读] kk2018 at SemEval-2020 Task 9: Adversarial Training for Code-Mixing Sentiment Classification

Jiaxiang Liu, Xuyi Chen+6 more|arXiv (Cornell University)|Sep 8, 2020

Natural Language Processing Techniques参考文献 22被引用 4

一句话总结

该论文提出使用多语言XLM-R主干网络进行对抗性训练，以实现对印地语-英语混合语种情感分类，其在SemEval-2020任务9印地语-英语数据集上取得了最先进性能。结果表明，从强大的单语模型（ERNIE）进行领域迁移可提供出人意料的强基线表现，而对抗性训练显著提升了模型泛化能力与测试性能，最终通过集成方法获得0.7526的F1分数，位列第一。

ABSTRACT

Code switching is a linguistic phenomenon that may occur within a multilingual setting where speakers share more than one language. With the increasing communication between groups with different languages, this phenomenon is more and more popular. However, there are little research and data in this area, especially in code-mixing sentiment classification. In this work, the domain transfer learning from state-of-the-art uni-language model ERNIE is tested on the code-mixing dataset, and surprisingly, a strong baseline is achieved. Furthermore, the adversarial training with a multi-lingual model is used to achieve 1st place of SemEval-2020 Task 9 Hindi-English sentiment classification competition.

研究动机与目标

• 探究将单语预训练模型（ERNIE）进行领域迁移学习在低资源混合语种情感分类任务中的有效性。
• 评估对抗性训练作为正则化方法在小规模混合语种数据集上提升模型泛化能力的效果。
• 在SemEval-2020任务9印地语-英语混合语种情感分类基准上实现最先进性能。
• 分析对抗性训练中超参数对模型鲁棒性与性能的影响。

提出的方法

• 通过领域迁移学习，直接在印地语-英语混合语种数据集上微调单语ERNIE 2.0模型，作为强基线。
• 将主干网络替换为多语言XLM-R模型，并通过在嵌入空间中于小ε球内扰动词嵌入来应用对抗性训练。
• 引入半监督对抗性损失（α=1），在训练过程中对模型进行正则化，以提升泛化能力。
• 采用线性热身学习率调度与Adam优化器，训练5个周期，并在验证集上选择最佳模型。
• 构建10折交叉验证模型的集成，结合不同超参数设置，通过概率平均法融合预测结果。
• 应用BPE分词以减少未登录词数量，提升跨语言迁移效果，尤其适用于印欧语系语言对。

实验结果

研究问题

• RQ1 单语预训练模型（如ERNIE）能否通过领域迁移学习在低资源混合语种情感分类任务上取得优异表现？
• RQ2 在嵌入空间中进行扰动的对抗性训练如何影响模型在混合语种文本上的泛化能力与性能表现？
• RQ3 对抗性训练中ε的最优值是多少？其对验证集与测试集得分有何影响？
• RQ4 对抗性训练是否能降低小规模混合语种数据集上的过拟合现象？这种改善是否在各折中均体现为泛化能力的提升？
• RQ5 结合多样化模型与超参数的集成方法是否能进一步提升性能，超越单一模型的表现？

主要发现

• 单语ERNIE 2.0模型在测试集上取得了0.6725的F1分数，表明尽管仅在英语数据上训练，其领域迁移能力依然非常有效。
• 将ERNIE替换为XLM-R后，测试F1分数提升至0.7177，表明多语言预训练对混合语种任务具有显著益处。
• 采用ε=5的对抗性训练获得了最高的测试F1分数0.7349，表明对抗性正则化能有效提升模型鲁棒性与性能。
• ε=2的模型在验证集上取得最佳F1分数0.6723，表明适中程度的扰动水平最有利于优化泛化能力。
• 最终集成模型实现了SOTA的F1分数0.7526，成功在SemEval-2020任务9竞赛中夺得第一名。
• 尽管性能有所提升，中性类别的精确率仍然偏低，表明模型仍倾向于检测明确的情感线索，对模糊或中性样本的识别能力较弱。