[論文レビュー] Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization

Pengcheng He, Baolin Peng+12 more|arXiv (Cornell University)|Aug 21, 2022

Topic Modeling被引用数 5

ひとこと要約

Z-Code++ は、2段階の事前学習プロセス、分離型アテンション機構、およびエンコーダー内統合による長文脈モデリングを特徴とする、抽出的要約に最適化された事前学習済みエンコーダーデコーダー言語モデルである。9つの要約タスク（5言語）において新たなSOTAを達成し、ゼロショットおよびフェイントショット設定でも PaLM 540B や GPT-3 175B よりも優れた性能を示した。

ABSTRACT

This paper presents Z-Code++, a new pre-trained language model optimized for abstractive text summarization. The model extends the state of the art encoder-decoder model using three techniques. First, we use a two-phase pre-training process to improve model's performance on low-resource summarization tasks. The model is first pre-trained using text corpora for language understanding, and then is continually pre-trained on summarization corpora for grounded text generation. Second, we replace self-attention layers in the encoder with disentangled attention layers, where each word is represented using two vectors that encode its content and position, respectively. Third, we use fusion-in-encoder, a simple yet effective method of encoding long sequences in a hierarchical manner. Z-Code++ creates new state of the art on 9 out of 13 text summarization tasks across 5 languages. Our model is parameter-efficient in that it outperforms the 600x larger PaLM-540B on XSum, and the finetuned 200x larger GPT3-175B on SAMSum. In zero-shot and few-shot settings, our model substantially outperforms the competing models.

研究の動機と目的

• 要約に特化したパラメータ効率的で、事前学習済みの言語モデルの開発。
• 言語理解と根拠付きテキスト生成を統合した2段階の事前学習戦略を用いて、低リソース要約タスクの性能を向上。
• エンコーダー内統合（FiE）を用いて、文書要約のための長文脈モデリングを強化。
• 的確な事前学習により、生成要約における事実の整合性を向上させ、幻覚を低減。
• 効率性を維持しつつ、SOTAの性能を達成し、はるかに大きなモデルを上回ることを実現。

提案手法

• 2段階の事前学習：まず一般ウェブテキストを用いて置換トークン検出（RTD）と破損スパン予測（CSP）を実施し、次に要約コーパスを用いて根拠付き生成に特化。
• 分離型アテンション（DA）は、標準的な自己アテンションに代わり、コンテンツ埋め込みと位置埋め込みを別々にモデル化することで、位置に関するインダクティブバイアスを向上。
• エンコーダー内統合（FiE）は、チャンク内での局所的アテンションとチャンク表現間のグローバルアテンションを階層的に組み合わせることで、長大な入力系列を効率的にエンコード。
• モデルは DeBERTaV2 の語彙を採用し、160GB の英語テキストおよび mC4 多言語コーパスで事前学習。
• 微調整は下流の要約タスクに適用され、汎化性能を評価するためのゼロショットおよびフェイントショット評価が実施。
• モデルは5言語にまたがる13の要約ベンチマークで評価され、XSum、CNN/Daily Mail、SAMSum が含まれる。

実験結果

リサーチクエスチョン

• RQ1 2段階の事前学習戦略は、低リソース要約タスクの性能を顕著に向上させることができるか？
• RQ2 分離型アテンションは、位置依存性をよりよくモデル化することで、事実の整合性と要約品質を向上させるか？
• RQ3 エンコーダー内統合は、計算コストを著しく増大させることなく、長大な入力系列を効果的に処理できるか？
• RQ4 ゼロショットおよびフェイントショット設定において、Z-Code++ は PaLM 540B や GPT-3 175B よりもはるかに大きなモデルを凌駆できるか？
• RQ5 根拠付き事前学習は、低リソース要約タスクへの知識移転をどの程度効果的に可能にするか？

主な発見

• Z-Code++ は5言語にまたがる13のテキスト要約タスクのうち9つで、新たなSOTAを達成した。
• XSum データセットでは、Z-Code++ は600倍も大きな PaLM 540B よりもゼロショットおよびフェイントショット設定で優れた性能を示した。
• SAMSum では、Z-Code++ は微調整済みの200倍も大きな GPT-3 175B を上回り、1000例の例示で ROUGE-2 スコア18.9を達成した。
• ゼロショットおよびフェイントショット設定において、Z-Code++ は CNNDM や SAMSum で PEGASUS LARGE より平均して5.7、1.5、3.3 ROUGE ポints の優位性を示した。
• 根拠付き事前学習は低リソースタスクの性能を顕著に向上させ、Z-Code++ はたった1000例の例示での XSum で ROUGE-2 16.0 を達成した。
• モデルは優れた汎化性能を示し、CNNDM や SAMSum ではゼロショット性能が微調整性能を上回った。これは、分布シフトに対して強い耐性を示している。