[論文レビュー] IT5: Text-to-text Pretraining for Italian Language Understanding and Generation

Gabriele Sarti, Malvina Nissim|arXiv (Cornell University)|Mar 7, 2022

Natural Language Processing Techniques被引用数 15

ひとこと要約

本論文では、400億語を超えるクリーニング済みイタリア語コーパスに特化して事前学習された、初めての大規模なエンコーダデコーダ型T5モデルであるIT5を紹介する。IT5モデルは、質問応答や見出し生成などの条件付き生成タスクを含む、複数のイタリア語自然言語生成および理解タスクで最先端の性能を達成し、特にmT5などの多言語モデルに比べて顕著に優れている。

ABSTRACT

We introduce IT5, the first family of encoder-decoder transformer models pretrained specifically on Italian. We document and perform a thorough cleaning procedure for a large Italian corpus and use it to pretrain four IT5 model sizes. We then introduce the ItaGen benchmark, which includes a broad range of natural language understanding and generation tasks for Italian, and use it to evaluate the performance of IT5 models and multilingual baselines. We find monolingual IT5 models to provide the best scale-to-performance ratio across tested models, consistently outperforming their multilingual counterparts and setting a new state-of-the-art for Italian language generation.

研究の動機と目的

• NLP分野におけるイタリア語向けの高性能で単一言語の事前学習モデルの不足を解消すること。
• 多言語モデルが達成できる以上の性能を、イタリア語固有の条件付き言語生成および理解タスクで向上させること。
• 事前学習に適した、徹底的にクリーニングされた大規模なイタリア語テキストコーパスを提供すること。
• コード、データ、事前学習済みモデルを公開することで、イタリア語NLPの新しいベンチマークを確立すること。
• イタリア語の低リソースおよび高リソース環境において、単一言語と多言語の事前学習のトレードオフを調査すること。

提案手法

• ヒューリスティクスを用いて、非イタリア語テキスト、重複、コード、乱暴な表現を除去することで、400億語を超えるウェブクロールドイタリア語コーパスをクリーニングした。
• クリーニング済みイタリア語コーパス上で、T5エンコーダデコーダアーキテクチャを用いて、3種類のIT5モデル（small、base、large）を事前学習した。
• 標準的なT5テキストtoテキスト転移パラダイムを採用し、すべてのNLPタスクを入力-出力シーケンス形式に再定式化した。
• 質問応答、要約、スタイル変換を含む、多様な8つの下流タスクでIT5モデルを微調整した。
• イタリア語ベンチマーク上で、mT5 や mBART などの多言語ベースラインおよび先行最先端システムと比較してIT5の性能を評価した。
• TPU v3-8および高性能コンピューティングクラスタを用いて事前学習および微調整を実施し、Hugging FaceのJAX/Flax互換スクリプトを活用した。

実験結果

リサーチクエスチョン

• RQ1 大規模でクリーニングされたイタリア語コーパス上で事前学習された単一言語T5モデルは、イタリア語固有のNLPタスクで多言語モデルを上回ることができるか？
• RQ2 イタリア語の条件付き生成タスクにおけるスケール対パフォーマンス比に、単一言語事前学習がどのような影響を与えるか？
• RQ3 なぜ多言語モデルは、ニュース要約やフォーマルからインフォーマルなスタイル変換といった特定のタスクで依然として単一言語モデルを上回っているのか？
• RQ4 計算リソースの制限が、単一言語事前学習におけるモデルサイズのスケーリングによるパフォーマンス向上をどの程度制限しているのか？
• RQ5 ウェブスクレイピングされたデータに内在するバイアスが、IT5のような大規模な単一言語モデルの出力に与える影響は何か？また、その実装へのインパクトは何か？

主な発見

• IT5モデルは、質問応答や見出し生成を含む、評価された8つのタスクのうち6つで最先端の性能を達成し、mT5 や先行システムを上回った。
• IT5 Largeモデルは、抽出型質問応答の正確一致（exact match）で新たな最先端を記録し、使用データ量が少ないにもかかわらずXLM-R Largeとの差を縮めた。
• ニュース要約およびフォーマルからインフォーマルなスタイル変換において、多言語モデル（mT5、mBART）が依然として優位である。これは、より大きなモデルスケールと多言語データ分布への露出によるものと推測される。
• 低い事前学習損失と高い事前学習精度を示しても、大規模なIT5モデルが一貫して小規模モデルを上回らないことから、バッチサイズやモデル最適化の制限が計算リソースの制約によって引き起こされた可能性がある。
• XFORMALデータセットに存在する翻訳アーティファクトや英語の略語は、単一言語のIT5モデルを混乱させるが、多言語モデルはよりうまくこれを捉えている。これは、ノイズが多く翻訳されたデータに対して、多言語モデルがより適していることを示唆している。
• 本研究は、時間と計算リソースのトレードオフの重要性を浮き彫りにした。特定のタスクでは、完全な単一言語事前学習よりも、多言語モデルの継続的事前学習がより効果的である可能性がある。