[论文解读] IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP

Fajri Koto, Afshin Rahimi+2 more|arXiv (Cornell University)|Nov 2, 2020

Topic Modeling参考文献 50被引用 32

一句话总结

本文发布 IndoLEM，这是一个覆盖七个任务的全面印尼语自然语言处理基准；并发布 IndoBERT，这是一个面向印尼语的单语 BERT 模型，相较于基线和多语种模型，在 IndoLEM 任务上达到最先进的结果。

ABSTRACT

Although the Indonesian language is spoken by almost 200 million people and the 10th most spoken language in the world, it is under-represented in NLP research. Previous work on Indonesian has been hampered by a lack of annotated datasets, a sparsity of language resources, and a lack of resource standardization. In this work, we release the IndoLEM dataset comprising seven tasks for the Indonesian language, spanning morpho-syntax, semantics, and discourse. We additionally release IndoBERT, a new pre-trained language model for Indonesian, and evaluate it over IndoLEM, in addition to benchmarking it against existing resources. Our experiments show that IndoBERT achieves state-of-the-art performance over most of the tasks in IndoLEM.

研究动机与目标

• 提供一个标准化、全面的印尼语 NLP 基准数据集，涵盖多样化任务（形态-句法、语义、话语）。
• 发布一个在大规模印尼语语料上训练的单语印尼语 BERT 模型（IndoBERT）。
• 将 IndoBERT 与多语种模型及现有印尼语资源进行基准评测，以建立最先进的基线。

提出的方法

• 引入 IndoLEM：跨三个类别的七个 NLP 任务（形态-句法/序列标注、语义、话语），具有标准化的数据分割和评测指标。
• 开发 IndoBERT：在 Wikipedia、新闻和网络语料中训练的 220M 印尼语单语 BERT 风格语言模型，使用 12 层、768 隐藏单元架构以及印尼语 WordPiece 词汇。
• 在 IndoLEM 上评估 IndoBERT，相较基线包括带 fastText 表征的 BiLSTM 及其他 BERT 模型（mBERT、MalayBERT）。
• 将 IndoBERT 集成到 BiAffine 依存分析器中，并在 UD-Indo-GSD 与 UD-Indo-PUD 数据集上评估。
• 基于印尼语推特数据创建两个话语任务（Next Tweet Prediction 和 Tweet Ordering），以评估话语连贯性。
• 为每个任务提供详细的评估方法（交叉验证、F1、准确率、ROUGE、Spearman ρ）。

实验结果

研究问题

• RQ1 一个标准化的印尼语基准（IndoLEM）是否能够通过在多个任务中提供可比的数据分割和评测指标来推动印尼语 NLP 的进展？
• RQ2 一个单语印尼语 BERT 模型（IndoBERT）是否在多样化的 NLP 任务上优于现有的多语种和印尼语特定基线？
• RQ3 IndoBERT 表征对 IndoLEM 中形态-句法、语义和话语任务的性能影响如何？
• RQ4 话语相关任务（Next Tweet Prediction、Tweet Ordering）是否揭示 IndoBERT 相对于其他模型的优势？
• RQ5 将上下文嵌入整合到标准解析器中对印尼语依存句法分析的影响如何？

主要发现

• 相对于基线和其他 BERT 模型，IndoBERT 在大多数 IndoLEM 任务中达到最先进的性能。
• IndoBERT 在情感分析与摘要方面比其他模型提升更明显，情感分析相对朴素贝叶斯提升 +13.2 F1，相对 mBERT 提升 +7.5；摘要约提升 1–2 ROUGE 点。
• 在基于 BERT 的模型中，IndoBERT 在词性标注和命名实体识别方面获得最佳结果，并且在 BiAffine 解析器的 UD-Indo-GSD 依存解析上有显著提升。
• 在 UD-Indo-PUD 上，mBERT 在依存解析方面优于 IndoBERT，突显数据集特定效应和 UD-Indo-PUD 的翻译质量问题。
• 话语任务表明，在测试模型中，IndoBERT 在 Next Tweet Prediction 取得最高准确率，在 Tweet Ordering 中获得最高的 Spearman ρ，同时给出人类表现（oracle）与观察到的差距。
• IndoLEM 提供一个大型、标准化的印尼语基准，带有新颖的话语任务，推动印尼语 NLP 的可重复评测和进展。