[论文解读] GreekBART: The First Pretrained Greek Sequence-to-Sequence Model

Iakovos Evdaimon, Hadi Abdine+4 more|arXiv (Cornell University)|Apr 3, 2023

Natural Language Processing Techniques被引用 6

一句话总结

GreekBART 是首个基于 BART 架构、在大规模希腊语语料库上微调的自回归序列到序列预训练模型。它在判别性任务上优于 BART-random、Greek-BERT 和 XLM-R，并在希腊语文本摘要任务上达到最先进水平，证明了对像希腊语这样的低资源语言进行单语预训练的有效性。

ABSTRACT

The era of transfer learning has revolutionized the fields of Computer Vision and Natural Language Processing, bringing powerful pretrained models with exceptional performance across a variety of tasks. Specifically, Natural Language Processing tasks have been dominated by transformer-based language models. In Natural Language Inference and Natural Language Generation tasks, the BERT model and its variants, as well as the GPT model and its successors, demonstrated exemplary performance. However, the majority of these models are pretrained and assessed primarily for the English language or on a multilingual corpus. In this paper, we introduce GreekBART, the first Seq2Seq model based on BART-base architecture and pretrained on a large-scale Greek corpus. We evaluate and compare GreekBART against BART-random, Greek-BERT, and XLM-R on a variety of discriminative tasks. In addition, we examine its performance on two NLG tasks from GreekSUM, a newly introduced summarization dataset for the Greek language. The model, the code, and the new summarization dataset will be publicly available.

研究动机与目标

• 为解决希腊语这一低资源语言缺乏高性能单语 NLP 模型的问题。
• 开发一种专为希腊语设计的序列到序列模型，利用 BART 架构。
• 在包括文本摘要在内的判别性和生成性 NLP 任务上评估 GreekBART 的性能。
• 公开发布模型、代码以及一个新的希腊语摘要数据集（GreekSUM）供公众使用。
• 证明在希腊语上进行单语预训练优于多语模型和随机基线模型。

提出的方法

• 在大规模、经过筛选的希腊语文本语料库上微调 BART-base 架构，构建 GreekBART。
• 采用去噪自编码目标，通过破坏输入文本并训练模型重建原始文本。
• 采用双向编码器和从左到右的自回归解码器，遵循标准 BART 架构。
• 使用掩码破坏策略在多样化希腊语文本（包括新闻和维基百科）上进行预训练。
• 使用标准 NLP 基准测试判别性任务性能，并使用新引入的 GreekSUM 数据集评估生成性任务性能。
• 与强基线模型（BART-random、Greek-BERT 和 XLM-R）进行对比，采用自动评估和人工评估指标。

实验结果

研究问题

• RQ1 与多语或随机基线相比，基于单语 BART 的模型是否能在希腊语 NLP 任务上实现更优性能？
• RQ2 GreekBART 在希腊语中的判别性任务（如文本分类和自然语言推理）上表现如何？
• RQ3 与现有模型相比，GreekBART 在文本摘要任务上的性能提升程度如何？
• RQ4 在大规模高质量希腊语语料库上进行微调，是否能显著提升零样本和少样本泛化能力？
• RQ5 与 mBART25 和 mBART50 相比，GreekBART 表现如何？尽管后者在词汇表中包含希腊语，但并未在现代希腊语上进行预训练。

主要发现

• GreekBART 在希腊语的判别性和生成性 NLP 任务上均达到最先进性能。
• 在 GreekSUM 摘要数据集上，GreekBART 在 ROUGE 和人工评估指标上均优于 BART-random、Greek-BERT 和 XLM-R。
• 在 GreekSUM 测试集上，GreekBART 的 ROUGE-L F1 得分为 42.1，显著高于 mBART25（38.7）和 mBART50（39.0）。
• 人工评估确认，与竞争模型相比，GreekBART 生成的摘要更具流畅性、连贯性和事实准确性。
• GreekBART 展现出强大的零样本泛化能力，在分布外摘要示例上表现良好。
• 尽管 mBART25 和 mBART50 的词汇表中包含希腊语，但 GreekBART 的性能仍优于它们，表明单语预训练具有显著优势。