[论文解读] Handshakes AI Research at CASE 2021 Task 1: Exploring different approaches for multilingual tasks

Vivek Kalyan, Paul Tan+2 more|arXiv (Cornell University)|Oct 29, 2021

Computational and Text Analysis Methods被引用 4

一句话总结

本文提出了一种多语言方法，用于在文档、句子、共指消解和事件抽取任务中检测社会政治事件和危机事件。通过在多语言数据集上联合训练单一的 XLM-RoBERTa 模型，并利用词级翻译和 LaBSE 嵌入实现跨语言迁移，作者取得了最先进性能，尤其在未见过的语言（如印地语）上的零样本泛化能力显著提升。

ABSTRACT

The aim of the CASE 2021 Shared Task 1 (H\\"urriyeto\\u{g}lu et al., 2021) was to detect and classify socio-political and crisis event information at document, sentence, cross-sentence, and token levels in a multilingual setting, with each of these subtasks being evaluated separately in each test language. Our submission contained entries in all of the subtasks, and the scores obtained validated our research finding: That the multilingual aspect of the tasks should be embraced, so that modeling and training regimes use the multilingual nature of the tasks to their mutual benefit, rather than trying to tackle the different languages separately. Our code is available at https://github.com/HandshakesByDC/case2021/

研究动机与目标

• 开发一个统一的多语言系统，用于在多个 NLP 任务中检测和分类社会政治及危机事件。
• 探究在多语言数据上联合训练是否优于针对特定语言的微调。
• 实现在低资源语言（如印地语）上无需特定任务训练数据的零样本分类。
• 评估通过词对词翻译和多语言句子嵌入实现跨语言迁移的有效性。
• 确定跨语言共享建模是否能提升在已见语言和未见语言上的性能。

提出的方法

• 在涵盖英语、西班牙语、葡萄牙语和印地语的多语言数据集上联合训练单一的 XLM-RoBERTa-base 模型。
• 使用 LaBSE 和 LASER 嵌入实现对低资源语言的跨语言迁移。
• 通过双语词典进行逐词翻译，为次要语言生成合成训练数据。
• 在事件抽取中使用 Viterbi 解码并结合受限转移概率，以保持 BIO 标注的一致性。
• 将所有语言的训练数据合并为单一数据集，以提升模型泛化能力。
• 在池化后的 Transformer 输出上添加分类头，对二分类任务进行微调。

实验结果

研究问题

• RQ1 在联合数据上训练的单一多语言模型是否能在多语言事件检测任务中超越特定语言模型？
• RQ2 通过翻译数据实现的跨语言迁移在低资源语言（如印地语）上的性能提升程度如何？
• RQ3 与单语言微调相比，联合多语言训练对高资源语言（如英语）的性能影响如何？
• RQ4 使用多语言句子嵌入（如 LaBSE、M-USE）是否能提升对未见语言的零样本泛化能力？
• RQ5 在多语言设置中，受限解码（如结合 BIO 约束的 Viterbi 解码）对事件抽取质量有何影响？

主要发现

• 在子任务 2（句子分类）中表现最佳的模型在葡萄牙语上的竞赛 F1 得分为 0.8506，优于特定语言基线模型。
• 在联合多语言数据集上进行训练提升了西班牙语和葡萄牙语的性能，而英语因已有大量数据，性能提升有限。
• 在子任务 4（事件抽取）中，同时使用 Viterbi 解码和逐词翻译数据的模型，在英语上的验证 F1 为 82.53，西班牙语为 62.17，葡萄牙语为 72.75。
• 在子任务 4 中，该模型在西班牙语和葡萄牙语上的最终竞赛排名均为第 2 名，表明其对次要语言具有强大的泛化能力。
• 测试集上的性能比验证集低约 5%，表明验证集可能存在分布偏移或数据泄露问题。
• 添加翻译后的次要语言数据使收敛时间增加约 2 倍，但提升了 F1 得分，表明数据增强有效且未造成性能下降。