[論文レビュー] ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation

Weizhen Qi, Yeyun Gong+10 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 46被引用数 6

ひとこと要約

ProphetNet-Xは、ProphetNetアーキテクチャに基づく大規模な事前学習モデルの統一ファミリーを紹介する。英語、中国語、多言語、対話、コード生成のタスクへ拡張された。同じモデル構造を共有し、将来のn-gram予測を活用することで、要約、質問生成、コード要約を含む10のベンチマークで最先端の性能を達成。公開済みのモデルと微調整スクリプトを提供。

ABSTRACT

Now, the pre-training technique is ubiquitous in natural language processing field. ProphetNet is a pre-training based natural language generation method which shows powerful performance on English text summarization and question generation tasks. In this paper, we extend ProphetNet into other domains and languages, and present the ProphetNet family pre-training models, named ProphetNet-X, where X can be English, Chinese, Multi-lingual, and so on. We pre-train a cross-lingual generation model ProphetNet-Multi, a Chinese generation model ProphetNet-Zh, two open-domain dialog generation models ProphetNet-Dialog-En and ProphetNet-Dialog-Zh. And also, we provide a PLG (Programming Language Generation) model ProphetNet-Code to show the generation performance besides NLG (Natural Language Generation) tasks. In our experiments, ProphetNet-X models achieve new state-of-the-art performance on 10 benchmarks. All the models of ProphetNet-X share the same model structure, which allows users to easily switch between different models. We make the code and models publicly available, and we will keep updating more pre-training models and finetuning scripts.

研究の動機と目的

• ProphetNetフレームワークを、複数の言語やドメインにまたがる多様な自然言語生成タスクに対応可能に拡張すること。
• 異なる言語やドメインタスク間をスムーズに切り替えられる統一モデルアーキテクチャの開発。
• 英語、中国語、多言語、対話、コードデータを含む大規模で多様なコーパスを用いた事前学習。
• NLG、対話、コード生成タスクの10の公開ベンチマークで最先端の性能を達成すること。
• 広範なアクセス性と再利用性を実現するため、オープンソースのモデルと微調整スクリプトの公開。

提案手法

• ProphetNet-Xモデルは、元のProphetNetアーキテクチャに基づく。これは、マルチストリーム自己注意機構と将来のn-gram予測を用いたTransformerエンコーダ-デコーダ構造である。
• モデルは、標準的な言語モデル損失と将来のn-gram予測損失を組み合わせた損失関数を最適化し、学習可能な係数αjで重み付けされる。
• 各モデルバリアント（例：ProphetNet-En、ProphetNet-Zh、ProphetNet-Dialog-En）は同じモデル構造を採用しているが、語彙と事前学習コーパスが異なる。
• 大規模でドメイン特化型のコーパスを用いて事前学習を実施：英語・中国語で160GB、多言語用に1.5TBのCommon Crawl、対話用に6000万件のReddit対話セッション、コード生成用に1000万件のコードスニペット。
• 将来のn-gram予測機構により、自己回帰的予測を次に続くnトークンの同時予測に置き換え、生成のなめらかさと一貫性が向上。
• 微調整は標準的な微調整スクリプトを用い、モデル選択は単一の設定ファイルの変更で実現。

実験結果

リサーチクエスチョン

• RQ1 統一された事前学習アーキテクチャは、多様な自然言語生成タスクで最先端の性能を達成できるか？
• RQ2 将来のn-gram予測は、多言語、対話、コード生成の文脈で生成品質をどのように向上させるか？
• RQ3 アーキテクチャの変更なしに、同じモデル構造が複数の言語やドメインに一般化できる範囲はどの程度か？
• RQ4 多様で大規模なコーパスを用いた事前学習は、低リソースまたは特化型の生成タスクで性能向上をもたらすか？
• RQ5 同じモデルアーキテクチャで、自然言語とプログラミング言語の両方の生成タスクで優れた性能を達成できるか？

主な発見

• ProphetNet-Enは、MSNews要約ベンチマークでROUGE-Lスコア40.2を達成し、BARTや以前のモデルを上回る新しい最先端性能を示した。
• ProphetNet-Dialog-Zhは、人間評価においてリtrievalベースのXiaoiceシステムを著しく上回るスコアを示し、アノテーター間でFleiss’ Kappa > 0.6を達成した。
• ProphetNet-Codeは、CodeXGLUEのコード→テキスト要約タスクで最先端性能を達成し、CNN/DMデータセットでスムージング済みBLEU-4スコア32.7を記録した。
• ProphetNet-EnはSQuAD 1.1質問生成タスクで新しい最先端性能を達成し、ROUGE-Lスコア51.5を記録し、BARTやMASSを上回った。
• ProphetNet-MultiはXGLUE NTGおよびQGベンチマークで最先端性能を達成し、優れた多言語生成能力を示した。
• すべてのProphetNet-Xモデルは同じアーキテクチャを共有しており、モデルファイルと語彙の切り替えのみでタスク間の切り替えが容易である。