[论文解读] A Focused Study to Compare Arabic Pre-training Models on Newswire IE Tasks

Wuwei Lan, Yang Chen+2 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 8被引用 4

一句话总结

本文提出了 GigaBERT，一种在阿拉伯语 Gigaword 数据上预训练的双语阿拉伯语-英语语言模型，用于评估阿拉伯语信息抽取（IE）任务中的跨语言迁移。GigaBERT 在命名实体识别（NER）、词性标注（POS）和论元角色标注（ARL）任务上优于 mBERT 和 XLM-R-base，展现出强大的零样本迁移能力，并为阿拉伯语 IE 设定了新的基准。

ABSTRACT

The Arabic language is a morphological rich language, posing many challenges for information extraction (IE) tasks, including Named Entity Recognition (NER), Part-of-Speech tagging (POS), Argument Role Labeling (ARL) and Relation Extraction (RE). A few multilingual pre-trained models have been proposed and show good performance for Arabic, however, most experiment results are reported on language understanding tasks, such as natural language inference, question answering and sentiment analysis. Their performance on the IE tasks is less known, in particular, the cross-lingual transfer capability from English to Arabic. In this work, we pre-train a Gigaword-based bilingual language model (GigaBERT) to study these two distant languages as well as zero-short transfer learning on the information extraction tasks. Our GigaBERT model can outperform mBERT and XLM-R-base on NER, POS and ARL tasks, with regarding to the per-language and/or zero-transfer performance. We make our pre-trained models publicly available at this https URL to facilitate the research of this field.

研究动机与目标

• 研究多语言预训练模型在阿拉伯语信息抽取（IE）任务中的表现，尽管其在语言理解任务中表现优异，但该领域仍研究不足。
• 评估从英语到阿拉伯语的跨语言迁移能力，特别是在零样本设置下的表现。
• 开发并发布一个高性能、公开可用的阿拉伯语-英语预训练模型，专为 IE 任务设计。
• 在命名实体识别、词性标注、论元角色标注和关系抽取任务上，对比 GigaBERT 与 mBERT 和 XLM-R-base 等现有模型的有效性。

提出的方法

• 在大规模阿拉伯语 Gigaword 语料库上预训练双语语言模型（GigaBERT），以增强阿拉伯语特定的表征学习能力。
• 在预训练过程中采用掩码语言建模目标，以捕捉阿拉伯语（一种形态丰富的语言）中的上下文依赖关系。
• 通过在下游阿拉伯语 IE 任务上微调模型但不使用英语数据进行微调，评估零样本迁移性能。
• 在多个阿拉伯语 IE 基准测试（NER、POS、ARL 和 RE）上，对比 GigaBERT 与 mBERT 和 XLM-R-base 的性能表现。
• 公开发布预训练的 GigaBERT 模型，以支持未来在阿拉伯语自然语言处理领域的研究。

实验结果

研究问题

• RQ1 GigaBERT 在阿拉伯语信息抽取任务（如 NER、POS 和 ARL）上的表现与 mBERT 和 XLM-R-base 相比如何？
• RQ2 从英语到阿拉伯语的零样本跨语言迁移在多大程度上能提升阿拉伯语 IE 任务的性能？
• RQ3 在大型阿拉伯语文本语料库（Gigaword）上进行预训练，是否能比多语言模型在阿拉伯语 IE 任务上取得更好的性能？
• RQ4 在低资源或零样本设置下，GigaBERT 在阿拉伯语 IE 中的相对有效性如何？

主要发现

• 在命名实体识别（NER）任务中，GigaBERT 在单语言设置和零样本迁移设置下均优于 mBERT 和 XLM-R-base。
• 在词性标注（POS）任务中，GigaBERT 表现优于 mBERT 和 XLM-R-base，尤其在零样本场景下表现更优。
• 在论元角色标注（ARL）任务中，GigaBERT 表现出色，无论是在微调设置还是零样本迁移设置下，均超越 mBERT 和 XLM-R-base。
• 该模型展现出显著的跨语言迁移能力，表明在阿拉伯语文本上进行预训练可显著提升下游 IE 任务的性能，即使未在英语数据上进行微调。
• GigaBERT 的发布为阿拉伯语自然语言处理，特别是信息抽取任务，提供了一个新的、公开可用的基准。