[論文レビュー] Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding

Abbas Ghaddar, Yimeng Wu+12 more|arXiv (Cornell University)|May 21, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、データフィルタリングの強化、文字レベルのモデリング、および大規模なアーキテクチャスケーリングを用いて、改善されたアラビア語事前学習言語モデル（JABER、Char-JABER、SABER、AT5S、AT5B）を紹介しており、ALUEベンチマークおよび生成タスクにおいて最先端の性能を達成した。人的評価により、既存モデルと比較して出力品質が優れていることが確認された。

ABSTRACT

There is a growing body of work in recent years to develop pre-trained language models (PLMs) for the Arabic language. This work concerns addressing two major problems in existing Arabic PLMs which constraint progress of the Arabic NLU and NLG fields.First, existing Arabic PLMs are not well-explored and their pre-trainig can be improved significantly using a more methodical approach. Second, there is a lack of systematic and reproducible evaluation of these models in the literature. In this work, we revisit both the pre-training and evaluation of Arabic PLMs. In terms of pre-training, we explore improving Arabic LMs from three perspectives: quality of the pre-training data, size of the model, and incorporating character-level information. As a result, we release three new Arabic BERT-style models ( JABER, Char-JABER, and SABER), and two T5-style models (AT5S and AT5B). In terms of evaluation, we conduct a comprehensive empirical study to systematically evaluate the performance of existing state-of-the-art models on ALUE that is a leaderboard-powered benchmark for Arabic NLU tasks, and on a subset of the ARGEN benchmark for Arabic NLG tasks. We show that our models significantly outperform existing Arabic PLMs and achieve a new state-of-the-art performance on discriminative and generative Arabic NLU and NLG tasks. Our models and source code to reproduce of results will be made available shortly.

研究の動機と目的

• アラビア語事前学習言語モデル（PLM）の事前学習における未だ十分に検討されていない改善要因、すなわちデータ品質、モデルサイズ、文字レベルのモデリングの向上を検討すること。
• アラビア語NLU分野における体系的かつ再現可能な評価の欠如を解消するため、標準化されたベンチマークを用いた包括的な実証的調査を実施すること。
• 判別的および生成的アラビア語NLUタスクにおいて、既存の最先端モデルを上回る性能を示す新しいアラビア語BERTおよびT5スタイルのモデルを開発・公開すること。
• プライベートテストセットを備えた高品質でリーダーボード駆動のベンチマークの構築を提唱し、アラビア語NLP分野における信頼性と再現性のある評価を確保すること。

提案手法

• 115GBの高品質でフィルタリングされたアラビア語テキストデータを用いてJABERを事前学習し、バイトペアエンコーディング（BBPE）を用いた改善された正規化およびトークン化により、既存のBERTスタイルモデルを上回る性能を達成した。
• アラビア語の屈曲的複雑性をよりよく捉えるために、文字レベルの表現を統合することでJABERを拡張し、Char-JABERを構築した。
• アーキテクチャとトレーニングデータを強化した369MパラメータのBERT-largeモデル、SABERにスケーリングアップし、文書分類タスクでの性能向上を実現した。
• 整理されたアラビア語テキストと最適化されたトレーニング手順を用いて、シーケンス・ツー・シーケンスタスク用に2つのT5スタイルモデル（AT5S（小）およびAT5B（ベース））を事前学習した。
• ALUE（アラビア語NLUリーダーボード）およびARGEN（アラビア語NLGベンチマーク）で体系的な評価を実施し、複数回の実行とハイパーパramータチューニングを実施することで再現性を確保した。
• ネイティブスピーカーによる人的評価を、3つの生成タスク（QG、EMD、TS）で実施し、BLEU や ROUGE などの自動指標を超えたモデル出力の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 事前学習データ品質、モデルサイズ、文字レベルモデリングの向上が、アラビア語BERTスタイルPLMのNLUタスクパフォーマンスに与える影響は何か？
• RQ2 T5ベースのアラビア語モデルは、英語タスクでは優れた性能を示すが、ALUEベンチマークではBERTベースのモデルに劣る理由は何か？
• RQ3 BLEU や ROUGE などの自動指標が、アラビア語生成モデルの人的評価とどの程度相関しているか？
• RQ4 ハイパーパramータチューニングと複数回の実行を伴う体系的評価は、リーダーボードのみの評価と比較して、モデルランク付けにどのような影響を与えるか？
• RQ5 データの整理と正規化は、アラビア語PLMのロバストネスと一般化性能にどのような影響を与えるか？

主な発見

• JABERは、ALUEリーダーボードで既存の最良のアラビア語PLMベースラインを1.5%上回り、高品質でフィルタリングされた事前学習データの影響を示した。
• Char-JABERは、特に屈曲的で豊かなアラビア語の文法的特徴を捉えるために文字レベル表現を活用し、ALUEでさらなるパフォーマンス向上を達成した。
• 369MパラメータのBERT-largeモデルSABERは、ALUEベンチマークで新たな最先端性能を樹立し、アラビア語NLUにおけるモデルスケーリングの利点を裏付けた。
• AT5Bは生成タスク（QG、EMD、TS）で最先端の結果を達成し、自動指標および人的評価の両方でAraT5-baseを上回った。EMDタスクでは人的評価で53%の採用率を記録した。
• 人的評価では、BLEU（例：EMDで2.0）がモデル品質を著しく低く評価していることが判明した。人的アノテーターは、n-gramの重複が少ないにもかかわらず、AT5Bを53～65%のケースで最良と評価した。
• 開発セットでのパフォーマンスランク付けは、リーダーボードのテストセットとは顕著に異なる結果を示しており、プライベートテストセットと複数回の実行を伴う体系的評価の重要性が浮き彫りになった。