[論文レビュー] AraGPT2: Pre-Trained Transformer for Arabic Language Generation

Wissam Antoun, Fady Baly+1 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 35被引用数 15

ひとこと要約

AraGPT2 は、インターネットやニュース記事のテキストから構成される大規模なアラビア語コーパスを用いて、14.6億パラメータのアーキテクチャから完全に訓練された、アラビア語生成のための最初のスケールの大きな事前学習済み GPT-2 スタイルのトランスフォーマーモデルである。このモデルは、保留済みのウィキペディア記事におけるパープレキシティが 29.8 で人間と見分けがつかないテキスト品質を達成し、テキスト生成評価では 60% の人間の誤分類率を示した。併せて開発された AraELECTRA を用いたディスクラミネーターは、モデル生成コンテンツを検出する際、98.7% の F1 スコアを達成した。

ABSTRACT

Recently, pre-trained transformer-based architectures have proven to be very efficient at language modeling and understanding, given that they are trained on a large enough corpus. Applications in language generation for Arabic are still lagging in comparison to other NLP advances primarily due to the lack of advanced Arabic language generation models. In this paper, we develop the first advanced Arabic language generation model, AraGPT2, trained from scratch on a large Arabic corpus of internet text and news articles. Our largest model, AraGPT2-mega, has 1.46 billion parameters, which makes it the largest Arabic language model available. The Mega model was evaluated and showed success on different tasks including synthetic news generation, and zero-shot question answering. For text generation, our best model achieves a perplexity of 29.8 on held-out Wikipedia articles. A study conducted with human evaluators showed the significant success of AraGPT2-mega in generating news articles that are difficult to distinguish from articles written by humans. We thus develop and release an automatic discriminator model with a 98% percent accuracy in detecting model-generated text. The models are also publicly available, hoping to encourage new research directions and applications for Arabic NLP.

研究の動機と目的

• 大規模なアラビア語コーパスを用いて、GPT-2 トランスフォーマー・アーキテクチャに基づく、最初の高度なアラビア語言語生成モデルを、完全に訓練から構築すること。
• これまで主に理解タスク向けのマスキング言語モデルに注力してきたが、アラビア語向けの最先端の言語生成モデルの不足を補うこと。
• ゼロショット生成および質問応答タスクにおけるモデルのパフォーマンスを評価するとともに、人間によるテキストの整合性および真正性の評価を実施すること。
• AraGPT2 の公開可能なバージョン（ベース、ミディアム、ラージ、メガ）および専用のディスクラミネーター・モデルをリリースし、アラビア語 NLP 領域における今後の研究を支援すること。
• 生成された機械テキストを検出できる高精度のディスクラミネーターを訓練・リリースすることで、悪用の可能性を抑えること。

提案手法

• インターネットテキストおよびニュース記事を含むフィルタリング処理を施した大規模なアラビア語コーパスを用いて、因果的言語モデル（CLM）による AraGPT2 の事前学習。
• 135M（ベース）、370M（ミディアム）、792M（ラージ）、1.46B（メガ）の4つのモデルバージョンを訓練し、多様な応用ニーズに対応すること。
• 保留済みのウィキペディア記事におけるパープレキシティを自動指標として用いて、モデルのパフォーマンスを評価すること。
• 12名の参加者を対象に、短い形式および長い形式の各4件（計12件）の記事（4件は本物、4件は AraGPT2-mega が生成、4件は人間が作成）を分類させる人間評価を実施し、リアルさを評価すること。
• AraELECTRA モデルを、人間が書いた1,500件と AraGPT2 が生成した1,500件のニュース記事をバランスさせたデータセットで微調整し、高精度なディスクラミネーターを構築すること。
• 人間とモデル生成テキストの間の統計的予測可能性の違いを検出するためにディスクラミネーターを用い、モデル出力は人間のテキストよりも予測可能性が高いという事実を活用すること。

実験結果

リサーチクエスチョン

• RQ1 大規模なアラビア語コーパスを用いて完全に訓練された、GPT-2 スタイルのトランスフォーマーモデルが、高品質で整合性があり文法的に正しいアラビア語生成を達成できるか？
• RQ2 AraGPT2-mega は、人間が書いたアラビア語ニュース記事と見分けがつかないほど、人間評価でどれほど高いリアルさを示すか？
• RQ3 微調整された AraELECTRA モデルは、AraGPT2-mega が生成したテキストをどれほど効果的に検出できるか？また、テキスト長は検出性能に影響を与えるか？
• RQ4 AraGPT2 の保留済みのウィキペディア記事におけるパープレキシティはどの程度か？また、ゼロショット生成タスクにおいて他の言語モデルと比較してどうなるか？
• RQ5 AraGPT2 の出力に学習されたディスクラミネーターは、合成テキストと人間生成テキストを区別する高精度を達成できるか？

主な発見

• AraGPT2-mega は、保留済みのウィキペディア記事においてパープレキシティが 29.8 であった。これは、強力な言語モデル性能を示している。
• 人間評価では、60% の参加者が AraGPT2-mega が生成したニュース記事を本物と誤認した。これは、非常に高いリアルさを示している。
• 人間が書いた記事についても、50% の割合で誤分類が発生した。これは、人間が書いたテキストですら、合成テキストと見分けがつかないことがあることを示している。
• 微調整済みの AraELECTRA ディスクラミネーターは、短い入力（150トークン）では 98.7% の F1 スコアを達成し、長い入力（500トークン）では 94.9% のスコアを記録した。
• ディスクラミネーターの高精度は、モデル生成テキストが人間のテキストよりも予測可能性が高いという点に起因しており、この差をモデルが効果的に活用している。
• AraGPT2 のバージョンおよびディスクラミネーターのリリースにより、アラビア語 NLP 領域における新たな研究分野が可能になった。これには、会話型エージェントや合成テキスト検出が含まれる。