[论文解读] LinCE: A Centralized Benchmark for Linguistic Code-switching Evaluation

Gustavo Aguilar, Sudipta Kar+1 more|arXiv (Cornell University)|May 9, 2020

Natural Language Processing Techniques参考文献 39被引用 4

一句话总结

该论文提出了 LinCE，一个用于评估跨四种语言对（西班牙语-英语、印地语-英语、尼泊尔语-英语、现代标准阿拉伯语-埃及口语）的自然语言处理模型在语言代码转换任务上的集中式基准。该基准涵盖四种任务（语言识别、词性标注、命名实体识别和情感分析），提供标准化、分层的数据划分，并整合了使用 BiLSTM、ELMo 和多语言 BERT 的强基线模型，其中多语言 BERT 在各项任务上的平均表现优于其他模型约 6%。

ABSTRACT

Recent trends in NLP research have raised an interest in linguistic code-switching (CS); modern approaches have been proposed to solve a wide range of NLP tasks on multiple language pairs. Unfortunately, these proposed methods are hardly generalizable to different code-switched languages. In addition, it is unclear whether a model architecture is applicable for a different task while still being compatible with the code-switching setting. This is mainly because of the lack of a centralized benchmark and the sparse corpora that researchers employ based on their specific needs and interests. To facilitate research in this direction, we propose a centralized benchmark for Linguistic Code-switching Evaluation (LinCE) that combines ten corpora covering four different code-switched language pairs (i.e., Spanish-English, Nepali-English, Hindi-English, and Modern Standard Arabic-Egyptian Arabic) and four tasks (i.e., language identification, named entity recognition, part-of-speech tagging, and sentiment analysis). As part of the benchmark centralization effort, we provide an online platform at ritual.uh.edu/lince, where researchers can submit their results while comparing with others in real-time. In addition, we provide the scores of different popular models, including LSTM, ELMo, and multilingual BERT so that the NLP community can compare against state-of-the-art systems. LinCE is a continuous effort, and we will expand it with more low-resource languages and tasks.

研究动机与目标

• 解决在多样化语言对和任务上缺乏统一基准以评估代码转换 NLP 模型的问题。
• 克服现有数据集中的不一致问题，如数据泄露和不平衡划分，这些都会阻碍公平的模型比较。
• 通过在线平台实现实时、直接的多任务和多语言对之间的模型性能对比。
• 提供使用 BiLSTM、ELMo 和多语言 BERT 等流行模型的强标准化基线，以建立性能基线。
• 为未来扩展基准以包含低资源语言和新兴 NLP 任务提供支持。

提出的方法

• 将十个现有的公开代码转换数据集整合为一个统一基准，覆盖四个语言对和四种 NLP 任务。
• 实施了一种新颖的分层过程，最多使用三个标准——语言识别标签、任务特定标签和句子长度——以确保训练/验证/测试划分的平衡性和代表性。
• 在十个数据集中的九个中，识别并修正了五个主要数据问题，包括标签泄露和分布偏差。
• 提供标准化的官方划分，保留完整语料库的分布，从而提高评估的可复现性和公平性。
• 在 ritual.uh.edu/lince 部署了一个在线平台，支持社区内实时提交和比较模型。
• 训练并评估了三种强基线模型：使用词嵌入和字符嵌入的 BiLSTM、使用上下文表示的 ELMo，以及在每个任务上微调的多语言 BERT。

实验结果

研究问题

• RQ1 现有代码转换数据集在多大程度上存在数据泄露和分布偏差问题，从而损害模型评估的可靠性？
• RQ2 一个具有标准化、分层划分的集中式基准，能否提高代码转换 NLP 模型评估的可靠性和可比性？
• RQ3 最先进模型（BiLSTM、ELMo、多语言 BERT）在多样化代码转换语言对和任务上的表现如何？
• RQ4 在代码转换设置中，预训练模型如 ELMo 和多语言 BERT 之间的性能差距是多少，其背后的影响因素是什么？
• RQ5 任务难度和语言对类型学特征（如高资源 vs. 低资源、书写系统相似性）如何影响代码转换 NLP 任务中的模型表现？

主要发现

• 多语言 BERT 在所有任务中均优于 ELMo 和 BiLSTM，平均性能差距约为 6%。
• ELMo 与多语言 BERT 之间的性能差距在命名实体识别（8–10%）和情感分析（18%）中最大，表明语义理解任务更具挑战性。
• 语言识别是最具鲁棒性的任务，在所有语言对中均达到最高准确率，而情感分析和命名实体识别则显著更具挑战性。
• 现代标准阿拉伯语-埃及口语对在语言识别任务中最具挑战性，可能由于两种语言间存在高度词汇重叠。
• 新的分层划分成功保留了原始语料库的分布，而原始划分往往存在数据泄露或不平衡问题。
• 该基准揭示，即使使用强大的预训练模型，模型在不同语言对和任务之间的泛化能力仍然有限，凸显了在多语言代码转换 NLP 领域仍需进一步研究。