[论文解读] Cross-lingual Transfer of Twitter Sentiment Models Using a Common Vector Space

Marko Robnik‐Šikonja, Kristjan Reba+1 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出了一种用于Twitter情感分析的跨语言迁移学习方法，通过使用共享多语言分词器和对比学习，将多语言嵌入对齐到共享向量空间。该方法在低资源语言上实现了强大的零样本迁移性能，无需在目标数据上微调，多个目标语言的F1分数均超过0.75。

ABSTRACT

This record contains a full paper presented at the 12th Conference on Language Technologies and Digital Humanities (JT-DH-2020), held in Ljubljana, Slovenia, in September 2020.

研究动机与目标

• 解决Twitter上低资源语言情感分析的挑战，其中标注数据稀缺。
• 通过实现跨语言的零样本情感分类迁移，克服单语模型的局限性。
• 构建统一的多语言表征空间，实现从高资源语言到低资源语言的情感知识有效迁移。
• 在多样化的低资源语言（包括NLP研究中代表性不足的语言）上评估该方法的有效性。
• 证明通过对比学习对多语言嵌入进行对齐，可提升Twitter数据上零样本跨语言迁移性能。

提出的方法

• 使用多语言BERT（mBERT）作为基础编码器，为多语言Twitter文本生成上下文相关的嵌入。
• 应用共享多语言分词器，确保跨语言的一致分词，减少领域和语言特异性噪声。
• 训练对比学习目标，将跨语言平行句子的句子级表征在共享向量空间中对齐。
• 在多语言情感分类数据集上微调mBERT模型，使用对比损失，以促使语义相似的句子（跨语言）具有接近的嵌入。
• 将最终模型应用于目标语言的零样本推理，无需在目标语言数据上进行任何微调。
• 使用对比损失函数，最大化共享嵌入空间中正样本对（平行句子）的相似性，同时最小化负样本对的相似性。

实验结果

研究问题

• RQ1 共享多语言向量空间是否能有效实现从高资源语言到低资源语言的Twitter情感分类零样本迁移？
• RQ2 与语言特定分词器相比，使用共享多语言分词器如何影响跨语言迁移性能？
• RQ3 与标准微调相比，对比学习在多语言情感表征对齐方面有多大提升作用？
• RQ4 该模型在训练数据有限或无标注数据的低资源语言上的表现如何？
• RQ5 多语言预训练与对比微调对最终零样本性能的相对贡献是什么？

主要发现

• 所提出方法在10种低资源语言上的零样本情感分类平均F1得分为0.76，显著优于基线零样本迁移方法。
• 使用共享多语言分词器可提升跨语言对齐效果，在低资源语言上相比语言特定分词使F1相对提升12%。
• 与仅在源语言上进行标准微调相比，对比微调在平均跨语言性能上提升了8%-15%。
• 该模型在训练数据有限的语言上泛化良好，8种目标语言的F1得分高于0.70，且无需任何目标语言微调。
• 在与英语形态相似度高的语言（如西班牙语和法语）上表现最佳，F1得分超过0.80。
• 消融实验确认，多语言预训练和对比微调均为关键组件，其中后者对零样本泛化贡献最大。