[論文レビュー] AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation

El Moatez Billah Nagoudi, AbdelRahim Elmadany+1 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling参考文献 67被引用数 4

ひとこと要約

本稿では、多様なアラビア語コーパス上で事前学習された、アラビア語固有のテキスト-テキストT5モデルであるAraT5のセットを紹介する。このモデルは、mT5やMARBERTを上回り、新しいアラビア語生成ベンチマーク（ARGEN）で新たなSOTAを達成し、アラビア語のような低リソース・高発話多様性言語における統一的テキスト-テキスト転移学習の有効性を示している。

ABSTRACT

Transfer learning with a unified Transformer framework (T5) that converts all language problems into a text-to-text format has recently been proposed as a simple, yet effective, transfer learning approach. Although a multilingual version of the T5 model (mT5) has been introduced, it is not clear how well it can fare on non-English tasks involving diverse data. To investigate this question, we apply mT5 on a language with a wide variety of dialects--Arabic. For evaluation, we use an existing benchmark for Arabic language understanding and introduce a new benchmark for Arabic language generation (ARGEN). We also pre-train three powerful Arabic-specific text-to-text Transformer based models and evaluate them on the two benchmarks. Our new models perform significantly better than mT5 and exceed MARBERT, the current state-of-the-art Arabic BERT-based model, on Arabic language understanding. The models also set new SOTA on the generation benchmark. Our new models and are publicly released at this https URL and ARLGE will be released through the same repository.

研究の動機と目的

• 多様な発話を持つ低リソース言語としてのアラビア語における、多言語T5（mT5）の性能を評価すること。
• アラビア語固有の事前学習モデルの欠落を埋めるために、アラビア語用に特化したテキスト-テキスト変換器の開発に取り組むこと。
• 生成能力を評価するための新しいアラビア語テキスト生成ベンチマーク（ARGEN）を確立すること。
• 多様なアラビア語コーパス上で特化したモデルを事前学習することで、アラビア語の理解と生成を向上させること。
• コミュニティ利用およびさらなる研究を促進するために、AraT5モデルとARGENベンチマークを公開すること。

提案手法

• ベースラインを確立するために、mT5モデルをアラビア語の理解および生成タスクで微調整すること。
• 大規模かつ多様なアラビア語テキストデータ（現代標準アラビア語およびさまざまな発話）上で、3つの新しいアラビア語固有のT5ベースモデル（AraT5）を事前学習すること。
• すべての自然言語処理タスクをテキスト-テキスト形式に変換し、異なるタスク間で統一された入出力表現を実現すること。
• モデルの頑健性を高めるために、単語レベルのアラビア語テキスト、多言語データ、およびキュレートされた発話コーパスの混合を使用すること。
• T5フレームワークで標準的である、マスクされた入力スパンに対するノイズ除去自己符号化目的関数を用いてモデルを学習すること。
• 新規に導入されたアラビア語生成ベンチマーク（ARGEN）および既存のアラビア語理解ベンチマークでモデルを評価すること。

実験結果

リサーチクエスチョン

• RQ1 多言語設計を有する多言語T5（mT5）は、アラビア語の理解および生成タスクにおいて、その性能がどの程度であるのか？
• RQ2 アラビア語固有のT5モデルは、mT5および既存のBERTベースのモデル（MARBERT）を著しく上回ることができるか？
• RQ3 AraT5モデルは、多様なアラビア語発話および言語タスクにどの程度一般化できるか？
• RQ4 従来のアプローチと比較して、テキスト-テキストフレームワークはアラビア語生成に対してどの程度効果的か？
• RQ5 新規に導入されたベンチマーク（ARGEN）は、アラビア語テキスト生成能力を効果的に評価できるか？

主な発見

• AraT5モデルは、アラビア語理解タスクにおいてmT5を著しく上回り、分野特化型事前学習の利点を示している。
• AraT5モデルは、現在のSOTAであるBERTベースのアラビア語モデルMARBERTを、アラビア語理解ベンチマークで上回っている。
• AraT5モデルは、新たに導入されたアラビア語生成ベンチマーク（ARGEN）で、新たなSOTA性能を達成している。
• 性能向上の要因は、アラビア語固有の事前学習と統一的テキスト-テキストフレームワークの組み合わせに起因する。
• 著者らは、コミュニティのアクセスと再現性を促進するために、AraT5モデルとARGENベンチマークを公開リポジトリを通じて成功裏にリリースした。