[论文解读] AraBERT: Transformer-based Model for Arabic Language Understanding

Wissam Antoun, Fady Baly+1 more|arXiv (Cornell University)|Feb 28, 2020

Topic Modeling参考文献 47被引用 617

一句话总结

AraBERT 预训练了一个用于阿拉伯语的单语 BERT 风格模型，在多项阿拉伯语 NLP 任务（情感分析、命名实体识别、问答）上实现了最先进的结果，涵盖多样化方言，并公开发布模型。

ABSTRACT

The Arabic language is a morphologically rich language with relatively few resources and a less explored syntax compared to English. Given these limitations, Arabic Natural Language Processing (NLP) tasks like Sentiment Analysis (SA), Named Entity Recognition (NER), and Question Answering (QA), have proven to be very challenging to tackle. Recently, with the surge of transformers based models, language-specific BERT based models have proven to be very efficient at language understanding, provided they are pre-trained on a very large corpus. Such models were able to set new standards and achieve state-of-the-art results for most NLP tasks. In this paper, we pre-trained BERT specifically for the Arabic language in the pursuit of achieving the same success that BERT did for the English language. The performance of AraBERT is compared to multilingual BERT from Google and other state-of-the-art approaches. The results showed that the newly developed AraBERT achieved state-of-the-art performance on most tested Arabic NLP tasks. The pretrained araBERT models are publicly available on https://github.com/aub-mind/arabert hoping to encourage research and applications for Arabic NLP.

研究动机与目标

• 激发并着手解决由于资源有限和阿拉伯语特有形态学导致的高性能语言模型的差距。
• 使用大规模阿拉伯语语料库专门为阿拉伯语预训练一个基于 BERT 的模型（AraBERT）。
• 在覆盖现代标准阿拉伯语（MSA）和方言阿拉伯语的多样化下游任务上评估 AraBERT。
• 提供公开可用的 AraBERT 模型，以促进进一步的阿拉伯语 NLP 研究与应用。

提出的方法

• 使用 BERT-base 配置（12 层编码器、768 个隐藏单元、12 个注意力头）。
• 在大规模阿拉伯语语料（约 24GB，70M 句）上应用整词掩码 MLM 和 NSP 预训练目标。
• 实现阿拉伯语特定预处理：使用 Farasa 对单词进行分词，然后训练 SentencePiece unigram 分词器至 ~60k token（以及一个不分词的 64k 版本）。
• 使用 [CLS] 标记和 softmax 分类器对 AraBERT 进行序列分类微调。
• 对 NER，将其视为分词级 IOB2 标注，并仅将每个单词的第一个子标记输入到模型。
• 对于 QA，使用分词级分类器预测起止位置以提取答案区间。

实验结果

研究问题

• RQ1 单语阿拉伯语 BERT 模型是否在标准阿拉伯语 NLP 基准测试中超越多语言 BERT？
• RQ2 阿拉伯语特定预处理和分词如何影响各任务（SA、NER、QA）的性能？
• RQ3 AraBERT 是否能在现代标准阿拉伯语和方言阿拉伯语数据集上都达到最先进的结果？
• RQ4 阿拉伯语预训练中词汇量与数据量的权衡是什么？

主要发现

任务	指标	前 SOTA	mBERT	AraBERTv0.1/v1
SA (HARD)	Acc.	95.7*	95.7	96.2 / 96.1
SA (ASTD)	Acc.	86.5*	80.1	92.2 / 92.6
SA (ArSenTD-Lev)	Acc.	52.4*	51.0	58.9 / 59.4
SA (AJGT)	Acc.	92.6**	83.6	93.1 / 93.8
SA (LABR)	Acc.	87.5†	83.0	85.9 / 86.7
NER (ANERcorp)	macro-F1	81.7	78.4	84.2 / 81.9
NER (ANERcorp)	Exact Match	-	-	34.2 / 30.1
QA (ARCD)	macro-F1	mBERT	61.3	61.2 / 62.7
QA (ARCD)	Sentence Match	-	93.0 / 92.0	-

• AraBERT 在大多数阿拉伯语 NLP 任务上超越了多语言 BERT 及以往的最先进方法，覆盖多个数据集。
• 在约 24GB 的阿拉伯语文本上进行预训练，使用 64k 词汇表（相较于 mBERT 的 2k）和整词掩码，有助于性能提升。
• AraBERTv0.1（无分词）与 AraBERTv1（分词预处理）在任务上呈现不同影响，分词有利于 SA 和 QA，但对 NER 不利。
• 在 NER (ANERcorp) 上，AraBERTv0.1 实现 macro-F1 为 84.2，精确匹配为 34.2，超越 Bi-LSTM-CRF 基线和 mBERT。
• 在 SA 上，AraBERT 的变体在 HARD、ASTD、ArSenTD-Lev、AJGT 和 LABR 数据集上实现领先准确率，且有多项超越之前的 SOTA 和 mBERT。
• 在 QA (ARCD) 上，AraBERT 相对于 mBERT 显示出更高的 macro-F1 和句子匹配，表明更好的区间预测和答案检索。