[论文解读] AlephBERT:A Hebrew Large Pre-Trained Language Model to Start-off your Hebrew NLP Application With

Amit Seker, Elron Bandel+4 more|arXiv (Cornell University)|Apr 8, 2021

Natural Language Processing Techniques参考文献 7被引用 23

一句话总结

AlephBERT 是一个大规模、预训练的现代希伯来语语言模型，其训练数据集比以往的希伯来语模型更大、更丰富，实现了在关键自然语言处理任务上的最先进性能，包括词形切分、词性标注、命名实体识别和情感分析。它在性能上优于多语言 mBERT 和希伯来语专用的 HeBERT，证明了对于词形复杂且资源匮乏的语言，更大的词汇量和更广泛的预训练数据具有显著优势。

ABSTRACT

Large Pre-trained Language Models (PLMs) have become ubiquitous in the development of language understanding technology and lie at the heart of many artificial intelligence advances. While advances reported for English using PLMs are unprecedented, reported advances using PLMs in Hebrew are few and far between. The problem is twofold. First, Hebrew resources available for training NLP models are not at the same order of magnitude as their English counterparts. Second, there are no accepted tasks and benchmarks to evaluate the progress of Hebrew PLMs on. In this work we aim to remedy both aspects. First, we present AlephBERT, a large pre-trained language model for Modern Hebrew, which is trained on larger vocabulary and a larger dataset than any Hebrew PLM before. Second, using AlephBERT we present new state-of-the-art results on multiple Hebrew tasks and benchmarks, including: Segmentation, Part-of-Speech Tagging, full Morphological Tagging, Named-Entity Recognition and Sentiment Analysis. We make our AlephBERT model publicly available, providing a single point of entry for the development of Hebrew NLP applications.

研究动机与目标

• 为解决现代希伯来语这一词形复杂且资源匮乏的语言缺乏大规模、高质量预训练语言模型的问题。
• 克服希伯来语 NLP 领域开放获取、标准化基准和训练数据稀缺的困境。
• 建立一个统一的、公开可用的基线模型，以在多个希伯来语 NLP 任务中实现最先进性能。
• 为未来基于希伯来语的预训练语言模型提供标准化评估框架，使用多样化的现有基准和一致的评估协议。
• 证明更大的预训练数据和更大的词汇量在下游任务（如命名实体识别和词形标注）中能显著提升性能。

提出的方法

• 在 OSCAR 语料库、维基百科和推特数据的组合上训练大规模 BERT 基础模型 AlephBERT，其希伯来语文本总量远超以往模型。
• 采用 52K 的词汇量，大于 HeBERT 的 30K，与 mBERT 的 120K 相当（尽管仅有 2,450 个条目为希伯来语专属），以更好地捕捉希伯来语的词形复杂性。
• 在多个希伯来语 NLP 任务上微调 AlephBERT，包括词形切分、词性标注、完整词形标注、命名实体识别和情感分析，使用现有基准。
• 在多个数据集和标注方案上评估性能，包括 SPMRL、希伯来语 UD、Ben Mordecai & Elhadad、Bareket & Tsarfaty 和 Facebook 情感数据集。
• 采用多任务学习设置，联合优化词形切分和命名实体识别，以提升整体性能。
• 通过 Hugging Face 发布模型，并提供交互式演示，以允许对不同模型在掩码语言建模预测方面的表现进行定性比较。

实验结果

研究问题

• RQ1 对于词形复杂且资源有限的希伯来语，是否可以通过更大规模的预训练语言模型在多个 NLP 任务中实现最先进性能？
• RQ2 扩大预训练语料库和词汇量对词形复杂任务（如词形切分和命名实体识别）的性能有何影响？
• RQ3 在现代希伯来语等低资源环境下，模型深度（层数）和预训练数据量在多大程度上影响下游任务性能？
• RQ4 统一的、公开可用的模型是否可作为未来希伯来语 NLP 研究和应用开发的可靠基线？
• RQ5 不同的输入表示策略和词分解方法在多大程度上影响希伯来语 PLM 的性能？

主要发现

• AlephBERT-base 在所有评估的希伯来语 NLP 任务中均达到最先进性能，包括词形切分、词性标注、词形标注、命名实体识别和情感分析。
• AlephBERT-base 在所有基准上均优于 mBERT 和 HeBERT，尤其在命名实体识别任务中表现显著提升，表明其对语义和词形结构的捕捉能力更强。
• 模型性能与词形切分质量高度相关，表明更优的词形切分可带来更好的命名实体识别结果。
• 尽管 HeBERT 的层数（12 层）多于 AlephBERT-small（6 层），但其性能仍优于 AlephBERT-small，表明仅增加深度不足以弥补预训练数据不足的缺陷。
• AlephBERT-base 在比 HeBERT 大一个数量级的数据集上进行训练，性能更优，证明即使架构相似，数据规模的提升也能显著改善性能。
• 词形切分与命名实体识别的联合多任务学习设置效果最佳，AlephBERT-base 在端到端（oracle 和预测切分）和多任务学习（MTL）配置中均取得最高得分。