[论文解读] IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding

Bryan Wilie, Karissa Vincentio+9 more|arXiv (Cornell University)|Sep 11, 2020

Topic Modeling参考文献 32被引用 192

一句话总结

IndoNLU 引入首个大型印度尼西亚语 NLU 基准，涵盖 12 项任务，提供全新的自我监督语料 Indo4B，以及 IndoBERT/IndoBERT-lite 基线，并配套一个可重复评测的基准框架和排行榜。

ABSTRACT

Although Indonesian is known to be the fourth most frequently used language over the internet, the research progress on this language in the natural language processing (NLP) is slow-moving due to a lack of available resources. In response, we introduce the first-ever vast resource for the training, evaluating, and benchmarking on Indonesian natural language understanding (IndoNLU) tasks. IndoNLU includes twelve tasks, ranging from single sentence classification to pair-sentences sequence labeling with different levels of complexity. The datasets for the tasks lie in different domains and styles to ensure task diversity. We also provide a set of Indonesian pre-trained models (IndoBERT) trained from a large and clean Indonesian dataset Indo4B collected from publicly available sources such as social media texts, blogs, news, and websites. We release baseline models for all twelve tasks, as well as the framework for benchmark evaluation, and thus it enables everyone to benchmark their system performances.

研究动机与目标

• 通过提供多样化、面向印度尼西亚语自然语言理解（NLU）的多任务基准，解决印尼 NLP 的资源稀缺问题。
• 创建一个大规模、清洗过的印尼语预训练数据集（Indo4B），以训练面向印尼语的语言模型。
• 提供基线模型解决方案（IndoBERT 与 IndoBERT-lite），并与多语言基线进行比较，以建立强基准。
• 提供可重复的评测框架和可访问的排行榜，提升透明度和社区参与度。

提出的方法

• 组建涵盖单句与句对输入的 12 项 NLU 任务，包含分类和序列标注，覆盖正式与口语化印尼语。
• 在 Indo4B 上对单语印尼语的 BERT 与 ALBERT 类模型（IndoBERT 与 IndoBERT-lite）进行两阶段训练，使用 128-token 与 512-token 的序列长度，在 TPUv3-8 上进行训练。
• 对广泛的基线进行评估（Scratch、fastText 变体、Multilingual BERT、XLM-R、XLM-MLM），通过对所有任务的微调，在分类与序列标注上使用宏 F1。
• 标准化任务拆分以实现可重复比较，并发布 IndoNLU 的公共排行榜以展示结果。
• 提供预处理和词汇选择（SentencePiece 与 BPE、印尼特有处理、Twitter 数据的隐私 masking），以最大化印尼语数据质量。

实验结果

研究问题

• RQ1 能否建立一个多样化、面向多任务的印尼 NLU 基准，以标准化跨模型和跨领域的评测？
• RQ2 单语印尼语模型（IndoBERT/IndoBERT-lite）是否在印尼 NLU 任务上优于多语言模型？在何种设置下？
• RQ3 Indo4B 与更大但嘈杂的语料库（如 CC-ID）在词嵌入预训练中的效果有何差异，对下游任务有何影响？
• RQ4 印尼 NLU 模型在模型规模、速度（FLOPs）与准确性之间的权衡如何？
• RQ5 增加输入序列长度是否会提升序列标注任务的表现？

主要发现

• IndoBERT-LARGE 与 XLM-R-LARGE 在分类任务上达到最高性能；XLM-R-LARGE 与 IndoBERT-LARGE 在序列标注任务中领先。
• 经过预训练的上下文模型在大多数任务上优于从零开始和词嵌入基线，显示了预训练对印尼语的价值。
• IndoBERT 模型在分类任务上通常优于多语言基线，IndoBERT-lite 在较小模型尺寸下也能提供竞争性结果。
• Indo4B 虽然比 CC-ID 基于的数据集小，但在下游任务上表现优于在 CC-ID 上训练的 fastText。
• 多语言模型在某些序列标注任务（如 NER-GrIT、FacQA）上表现突出，因为它们可以处理借用外来词，而单语模型在句子级语义方面表现突出。
• 更长的输入序列（512 个标记）提升了序列标注任务的表现，表明扩展上下文有益。