[論文レビュー] AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive Summarization

Moussa Kamal Eddine, Nadi Tomeh+3 more|arXiv (Cornell University)|Mar 21, 2022

Topic Modeling被引用数 6

ひとこと要約

AraBARTは、エンコーダー、デコーダー、アテンション重みを同時に事前学習するためのBARTのノイズ除去オートエンコーダー目的を活用し、アラビア語の要約生成のためのエンドツーエンド事前学習済みのシーケンス・ツー・シーケンスモデルとして初めてのモデルである。複数の要約生成ベンチマークで最先端の性能を達成しており、BERTベースのモデルやmBART25などの大規模な多言語モデルを上回っている。特にXL-Sumのようなより要約的（抽象的）なデータセットにおいて顕著である。

ABSTRACT

Like most natural language understanding and generation tasks, state-of-the-art models for summarization are transformer-based sequence-to-sequence architectures that are pretrained on large corpora. While most existing models focused on English, Arabic remained understudied. In this paper we propose AraBART, the first Arabic model in which the encoder and the decoder are pretrained end-to-end, based on BART. We show that AraBART achieves the best performance on multiple abstractive summarization datasets, outperforming strong baselines including a pretrained Arabic BERT-based model and multilingual mBART and mT5 models.

研究の動機と目的

• アラビア語の要約生成のためのエンドツーエンド事前学習済みのシーケンス・ツー・シーケンスモデルの不足を補う。
• エンコーダーのみを事前学習するか、非事前学習のデコーダーを使用する既存モデルの制限を克服する。
• エンコーダー、デコーダー、アテンション重みを同時に事前学習することで、アラビア語の要約の忠実性と滑らかさを向上させる。
• アラビア語のGigawordや多言語のXL-Sumを含む多様な要約データセットで評価し、要約の抽象的度合いの異なるレベルでの性能を評価する。
• エンドツーエンドの事前学習が、特により抽象的な要約タスクにおいて優れた性能を発揮することを示す。

提案手法

• 6層のエンコーダーと6層のデコーダー、768次元の隠れ層、139Mパラメータを有するBART baseアーキテクチャを採用し、アラビア語向けに微調整する。
• 20GBの事前学習コーパスのサブセットを用いてSentencePieceによるトークン化を実施し、語彙サイズ50K、文字カバレッジ99.99％を達成することで、OOVトークンの発生を最小限に抑える。
• BARTのノイズ除去オートエンコーダー目的を用いてAraBARTを事前学習する：テキストの穴埋め（[MASK]で30％のスパンをマスク）と文の順序入れ替え。
• 128台のV100 GPUを用い、Adam最適化法、線形のウォームアップとデイエイド、FP16精度に加え、安定性向上のためのレイヤー正規化を適用して約60時間学習する。
• 2つの要約生成データセットで微調整する：アラビア語Gigaword（見出し生成）とXL-Sum（多言語、多様なソースタイプ）。
• ROUGE-L、BERTScore、および新しいn-gram比を用いて、要約の抽象的度合いと事実の整合性を測定する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーのみを事前学習するモデルと比較して、エンドツーエンドの事前学習がアラビア語の要約生成性能を向上させるか？
• RQ2 特により抽象的なデータセットにおいて、mBART25などの大規模な多言語モデルを上回る性能をAraBARTが示せるか？
• RQ3 novel n-gram比で測定される抽象的度合いと、AraBARTがベースラインを上回る性能向上の間に相関関係があるか？
• RQ4 多様なアラビア語要約データセット、特に抽象的度合いやソースタイプが異なるデータセットにおいて、AraBARTの性能はいかが？
• RQ5 エンコーダー、デコーダー、アテンション重みを同時に事前学習することで、生成要約の事実の整合性と滑らかさがどの程度向上するか？

主な発見

• AraBARTは、アラビア語GigawordおよびXL-Sumの両方のデータセットで最先端の結果を達成しており、BERTベースのモデルやmBART25のような大規模な多言語モデルを上回っている。
• XL-Sumでは、mBART25に比べてROUGE-Lスコアが2.9ポイント高い。特に最も抽象的なサブセットで性能差が顕著に現れている。
• AraBARTのベースラインとの性能差は、抽象的度合いと正の相関関係にあり、BERTScoreの差とnovel trigram比の間にはピアソン相関係数0.6625（p < 0.05）が確認された。
• パラメータ数が少ないにもかかわらず、mT5よりもXL-Sumで優れた性能を示しており、言語特化型の事前学習の利点を裏付けている。
• GigawordのQDSサブセットでは、mBART25に劣っているため、データセット固有の制限や分布シフトの可能性が示唆される。
• AraBARTは、生成要約により多くのnovel n-gram（例：XL-Sumでは95.2％のnovel trigram）を含むため、強力な要約的生成能力を確認している。