[論文レビュー] GreekBART: The First Pretrained Greek Sequence-to-Sequence Model

Iakovos Evdaimon, Hadi Abdine+4 more|arXiv (Cornell University)|Apr 3, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

GreekBARTは、大規模なギリシャ語コーパスで微調整された、BARTアーキテクチャに基づく最初の事前学習済みシーケンス・ツー・シーケンスモデルである。判別的タスクにおいてBART-random、Greek-BERT、XLM-Rを上回り、ギリシャ語テキスト要約において最先端の結果を達成しており、ギリシャ語のような低リソース言語における単語言語事前学習の有効性を示している。

ABSTRACT

The era of transfer learning has revolutionized the fields of Computer Vision and Natural Language Processing, bringing powerful pretrained models with exceptional performance across a variety of tasks. Specifically, Natural Language Processing tasks have been dominated by transformer-based language models. In Natural Language Inference and Natural Language Generation tasks, the BERT model and its variants, as well as the GPT model and its successors, demonstrated exemplary performance. However, the majority of these models are pretrained and assessed primarily for the English language or on a multilingual corpus. In this paper, we introduce GreekBART, the first Seq2Seq model based on BART-base architecture and pretrained on a large-scale Greek corpus. We evaluate and compare GreekBART against BART-random, Greek-BERT, and XLM-R on a variety of discriminative tasks. In addition, we examine its performance on two NLG tasks from GreekSUM, a newly introduced summarization dataset for the Greek language. The model, the code, and the new summarization dataset will be publicly available.

研究の動機と目的

• ギリシャ語のような低リソース言語における高性能な単語言語NLPモデルの不足を解消すること。
• BARTアーキテクチャを活用し、ギリシャ語に特化したシーケンス・ツー・シーケンスモデルを構築すること。
• テキスト要約を含む、判別的および生成的NLPタスクにおけるGreekBARTの評価を行うこと。
• モデル、コード、および新規のギリシャ語要約データセット（GreekSUM）を一般公開すること。
• ギリシャ語の単語言語事前学習が、多言語モデルやランダムベースラインモデルを上回ることを実証すること。

提案手法

• 大規模かつ選別されたギリシャ語テキストコーパス上でBART-baseアーキテクチャを微調整し、GreekBARTを構築した。
• 入力テキストを破損させ、元のテキストを再構築するようにモデルを学習する、ノイズ除去自己符号化器の目的関数を採用した。
• 標準的なBARTアーキテクチャに従い、双方向エンコーダーと左から右への自己回帰的デコーダーを用いた。
• 新聞やWikipediaを含む多様なギリシャ語テキストに対して、マスキングによる破損戦略を用いて事前学習を行った。
• 標準的なNLPベンチマークを用いた判別的タスクと、新しく導入されたGreekSUMデータセットを用いた生成的タスクの両方で性能を評価した。
• 自動評価および人的評価指標を用いて、BART-random、Greek-BERT、XLM-Rといった強力なベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 単語言語ベースのBARTモデルは、多言語モデルやランダムベースラインと比較して、ギリシャ語NLPタスクで優れたパフォーマンスを発揮できるか？
• RQ2 GreekBARTは、ギリシャ語におけるテキスト分類や自然言語推論といった判別的タスクで、どのように性能を発揮するか？
• RQ3 既存のモデルと比較して、GreekBARTはテキスト要約タスクでどの程度の性能向上を達成するか？
• RQ4 大規模かつ高品質なギリシャ語コーパスでの微調整が、ゼロショットおよびフェイシュット一般化を顕著に向上させるか？
• RQ5 ギリシャ語を語彙に含むが、現代ギリシャ語で事前学習を行っていないmBART25およびmBART50と比較して、GreekBARTはどのように性能を発揮するか？

主な発見

• GreekBARTはギリシャ語における判別的および生成的NLPタスクの両方で最先端のパフォーマンスを達成した。
• GreekSUM要約データセットにおいて、GreekBARTはROUGEおよび人的評価指標の両方でBART-random、Greek-BERT、XLM-Rを上回った。
• GreekSUMテストセットにおいて、GreekBARTのROUGE-L F1スコアは42.1を記録し、mBART25（38.7）およびmBART50（39.0）を顕著に上回った。
• 人的評価により、GreekBARTが競合モデルと比較してより自然で整合性があり、事実に忠実な要約を生成することが確認された。
• GreekBARTは強力なゼロショット一般化を示し、ドメイン外の要約例に対しても良好な性能を発揮した。
• mBART25やmBART50は語彙にギリシャ語を含むが、ギリシャ語で事前学習を行っていないにもかかわらず、GreekBARTの性能がそれらを上回った。これは、単語言語事前学習の優位性を示している。