[论文解读] JABER and SABER: Junior and Senior Arabic BERt

Abbas Ghaddar, Yimeng Wu+11 more|arXiv (Cornell University)|Dec 8, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文介绍了两种新预训练的阿拉伯语 BERT 模型——JABER（12层）和 SABER（24层）——采用改进的训练方法，包括 BBPE 分词、数据清洗和超参数优化。这些模型在 ALUE 基准测试中取得了最先进性能（平均得分 77.3%），优于现有模型如 ARBERT 和 MARBERT，其中 SABER 相较于 JABER 平均提升 3.6%。

ABSTRACT

Language-specific pre-trained models have proven to be more accurate than multilingual ones in a monolingual evaluation setting, Arabic is no exception. However, we found that previously released Arabic BERT models were significantly under-trained. In this technical report, we present JABER and SABER, Junior and Senior Arabic BERt respectively, our pre-trained language model prototypes dedicated for Arabic. We conduct an empirical study to systematically evaluate the performance of models across a diverse set of existing Arabic NLU tasks. Experimental results show that JABER and SABER achieve state-of-the-art performances on ALUE, a new benchmark for Arabic Language Understanding Evaluation, as well as on a well-established NER benchmark.

研究动机与目标

• 为解决现有阿拉伯语 BERT 模型存在的训练不足问题，通过重新评估和优化预训练配方。
• 开发专用的阿拉伯语语言模型——JABER（12层）和 SABER（24层），使其在阿拉伯语自然语言理解任务中超越现有的单语和多语模型。
• 建立系统化的基准测试框架，利用 ALUE 和 ANER corp 公开数据集，公平比较不同阿拉伯语 BERT 模型在多样化自然语言理解任务中的表现。
• 通过优化数据筛选与训练流程，提升模型在标准阿拉伯语、方言和社交媒体文本上的泛化能力。
• 公开发布模型权重与代码，以支持阿拉伯语 NLP 领域的可复现性与进一步研究。

提出的方法

• 使用经过广泛清洗与过滤的 115GB 阿拉伯语文本语料库（重复因子为 3）对 JABER 和 SABER 进行预训练，以去除低质量或冗余内容。
• 采用 BBPE（字节对编码）分词方法替代 WordPiece，以提升子词表示能力，并更好地处理阿拉伯语的词形复杂性。
• 在预处理阶段应用标准化处理，统一阿拉伯语文本格式，提升模型对符号标记与拼写变体的鲁棒性。
• 采用动态掩码机制与更长的序列长度（512 个 token），借鉴 RoBERTa 的优化策略，增强表示学习能力。
• JABER 采用 15 个训练周期，SABER 采用 5 个训练周期，使用更大的批量大小与优化的学习率调度策略。
• 在多个下游任务上对模型进行微调，包括 ALUE（8 项多样化的阿拉伯语自然语言理解任务）和 ANER corp（命名实体识别）以供评估。

实验结果

研究问题

• RQ1 与先前发布的模型相比，重新优化的预训练配方是否能显著提升阿拉伯语 BERT 模型的性能？
• RQ2 数据清洗、标准化处理与 BBPE 分词在多样化自然语言理解任务中，对阿拉伯语 BERT 模型性能的提升程度如何？
• RQ3 更深的网络结构（SABER，24 层）是否在阿拉伯语自然语言理解基准测试中显著优于浅层模型（JABER，12 层）？
• RQ4 是否可以仅通过统一的预训练策略，使单一阿拉伯语 BERT 模型在标准阿拉伯语、方言和社交媒体文本上均实现有效泛化，而无需针对每个领域进行专门预训练？
• RQ5 在 ALUE 和 ANER corp 等标准化基准测试中，JABER 和 SABER 与现有最先进模型（如 ARBERT 和 MARBERT）相比表现如何？

主要发现

• SABER 在 ALUE 基准测试中取得了 77.3% 的新 SOTA 平均得分，超越所有先前模型，包括 ARBERT 和 MARBERT。
• 尽管架构与参数量与 ARBERT 相同，JABER 在 ALUE 基准测试中平均性能仍高出 2%，表现更优。
• SABER 在所有 ALUE 任务上相较 JABER 平均提升 3.6%，证明了更深结构与优化训练策略的优势。
• 在 ANER corp 命名实体识别基准测试中，JABER 达到 84.20% 的最高 F1 分数，显著优于 MARBERT（80.50%）及其他基线模型。
• 与其它 BERT-base 模型相比，JABER 在各项任务上的方差更低，表明其性能更稳定、更具鲁棒性。
• 在 XNLI（+12.4%）和 MQ2Q（+7.5%）等高难度任务上，JABER 与 Arabic-BERT 的性能差距尤为显著，表明其具备更强的泛化能力。