[论文解读] Overview for the Second Shared Task on Language Identification in Code-Switched Data

Giovanni Molina, Fahad AlGhamdi+5 more|arXiv (Cornell University)|Sep 28, 2019

Multilingual Education and Policy参考文献 12被引用 29

一句话总结

本文介绍了第二次关于代码混用文本中语言识别的共享任务，聚焦于来自推特的西班牙语-英语和现代标准阿拉伯语-方言阿拉伯语配对。该任务采用统一的标注方案（包含8个标签，包括混合语言和命名实体），评估了9支团队的系统，性能相比上一届任务有所提升，顶尖系统在SPA-ENG上的F1值达到97.3%，在MSA-DA上达到87.6%，表明在多语言社交媒体文本的自然语言处理方面取得了进展。

ABSTRACT

We present an overview of the second shared task on language identification in code-switched data. For the shared task, we had code-switched data from two different language pairs: Modern Standard Arabic-Dialectal Arabic (MSA-DA) and Spanish-English (SPA-ENG). We had a total of nine participating teams, with all teams submitting a system for SPA-ENG and four submitting for MSA-DA. Through evaluation, we found that once again language identification is more difficult for the language pair that is more closely related. We also found that this year's systems performed better overall than the systems from the previous shared task indicating overall progress in the state of the art for this task.

研究动机与目标

• 推动自动代码混用文本语言识别的研究，特别是在社交媒体语境下的应用。
• 为代码混用数据提供标准化、通用的标注方案，以提升不同研究之间的一致性与可比性。
• 通过具有多样语言对和详细评估指标的竞争性共享任务，激励高质量系统的发展。
• 评估语言相近程度对识别难度的影响，特别是对现代标准阿拉伯语-方言阿拉伯语这类关系密切的语言对。
• 评估现代自然语言处理技术（包括条件随机场和深度学习）在处理代码混用序列方面的有效性。

提出的方法

• 任务要求团队将测试数据中的每个词元标注为以下八类标签之一：lang1、lang2、fw、mixed、unk、ambiguous、other 或 ne（命名实体）。
• 为两种语言对（SPA-ENG 和 MSA-DA）应用了统一的标注指南，结合了示例说明，并根据前一届共享任务的反馈进行了迭代优化。
• 数据从推特收集，经过预标注和实验室内部验证以减少噪声，但众包标注仍引入了一定误差，尤其在命名实体和同形词标注方面。
• 在词元级别和推文级别均使用F1分数进行评估，重点关注两个级别间的一致性以及对模糊或混合语言词元的鲁棒性。
• 系统评估重点在于检测代码混用点的能力，以及处理罕见或无法识别词元（如'unk'和'fw'）的表现。
• 共享任务采用两阶段评估：首先建立基线性能；其次在两个语言对之间使用标准化指标比较系统表现。

实验结果

研究问题

• RQ1 在关系密切的语言对（如MSA-DA）与关系较远的语言对（如SPA-ENG）之间，系统性能与错误模式有何差异？
• RQ2 现代自然语言处理技术（如CRFs和深度学习）相较于传统基线，在代码混用语言识别中的提升程度如何？
• RQ3 系统在词元级别与推文级别上的预测一致性如何？这对代码混用点检测的准确性有何启示？
• RQ4 众包标注带来了哪些挑战，特别是在命名实体和同形词方面？如何改进标注指南？
• RQ5 是否可以有效将通用标注方案应用于多样化的语言对，同时保持高标注者间一致性与系统性能？

主要发现

• Shirvani等人提出的SPA-ENG系统在词元级别取得了最高的F1分数97.3%，优于所有其他系统。
• 对于MSA-DA，Samih等人提出的系统在词元级别取得了最佳性能，F1分数为87.6%，显著优于基线。
• 所有MSA-DA系统在推文级别均比基线高出至少20%，表明在处理这一更具挑战性的语言对方面取得了显著进展。
• 结果表明，依赖条件随机场和深度学习技术的系统优于基于规则的方法，说明序列建模对准确识别至关重要。
• 今年系统在词元级别与推文级别之间的表现更加一致，表明代码混用边界检测能力有所提升，标签混淆减少。
• 尽管有所改进，命名实体和模糊词元（如在英语和西班牙语中均为'a'的词）仍是主要错误来源，尤其在众包标注中更为明显。