[論文レビュー] s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning

Hangbo Bao, Li Dong+3 more|arXiv (Cornell University)|Oct 26, 2021

Topic Modeling参考文献 26被引用数 11

ひとこと要約

この論文では、因果的、マスク付き、擬似マスク付きの3つの新しい微調整戦略を用いて、事前学習済み双方向トランスフォーマー（例：BERT、RoBERTa、UniLM）を文書生成タスクに微調整するためのツールキットであるs2s-ftを紹介する。統一された自己注意マスクと共有されたモデルパラメータを活用することで、単語言語および多言語のベンチマークにおいて、要約生成および質問生成タスクで最先端の性能を達成し、T5-11B や PEGASUS よりも大きなモデルを上回っている。

ABSTRACT

Pretrained bidirectional Transformers, such as BERT, have achieved significant improvements in a wide variety of language understanding tasks, while it is not straightforward to directly apply them for natural language generation. In this paper, we present a sequence-to-sequence fine-tuning toolkit s2s-ft, which adopts pretrained Transformers for conditional generation tasks. Inspired by UniLM, we implement three sequence-to-sequence fine-tuning algorithms, namely, causal fine-tuning, masked fine-tuning, and pseudo-masked fine-tuning. By leveraging the existing pretrained bidirectional Transformers, experimental results show that s2s-ft achieves strong performance on several benchmarks of abstractive summarization, and question generation. Moreover, we demonstrate that the package s2s-ft supports both monolingual and multilingual NLG tasks. The s2s-ft toolkit is available at https://github.com/microsoft/unilm/tree/master/s2s-ft.

研究の動機と目的

• 事前学習済み双方向トランスフォーマー（例：BERT）を、その双方向注意機構が直接的に適用できない文書生成タスクに適応する課題に対処すること。
• 事前学習と微調整の目的の乖離を低減するため、1つのトランスフォーマー構造内でエンコーディングとデコーディングを統合すること。
• 既存の事前学習済みモデルを、要約生成や質問生成を含む多様な条件付き生成タスクに微調整できる、柔軟でオープンソースのツールキットを開発すること。
• XLM-RoBERTaなどのモデルを用いて、単語言語および多言語の生成タスクにおいて、提案手法の有効性を実証すること。
• タスク固有の事前学習や大規模なモデル再学習を必要とせず、既存の事前学習済みモデルを最小限のアーキテクチャ変更で活用することで、優れた性能を達成できることを示すこと。

提案手法

• s2s-ftツールキットは、[CLS]、[SEP]、[SOS]といった特別トークンを用いて、ソースシーケンスとターゲットシーケンスを1つの入力シーケンスに統合した統一されたトランスフォーマー構造を採用する。
• タスク固有の自己注意マスクを適用して注意を制限する：ソーストークンは双方向に注意を向けるが、ターゲットトークンは以前のターゲットトークンおよびソーストークンにのみ注意を向けることで、自己回帰的生成を可能にする。
• 因果的微調整では、ターゲットトークンの位置をずらして、左から右への注意により自己回帰的予測を実現する。これは因果的言語モデルと同様の仕組みである。
• マスク付き微調整では、学習中にターゲットトークンをランダムにマスクし、それらを予測することで、事前学習（マスク言語モデル）と微調整の不一致を最小限に抑える。
• 擬似マスク付き微調整では、各ターゲットトークンに擬似マスクトークンを挿入し、同じ位置埋め込みを割り当てることで、因果的およびマスク付き学習の利点を組み合わせる。
• このツールキットはHuggingFace Transformersに基づいて構築されており、RoBERTa や XLM-RoBERTa を含む単語言語および多言語モデルをサポートし、ゼロショットまたはフェイントショットでの適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 BERT などの事前学習済み双方向トランスフォーマーを、アーキテクチャの再設計なしに、文書生成タスクに効果的に微調整できるか？
• RQ2 因果的、マスク付き、擬似マスク付きの各微調整戦略は、要約生成および質問生成タスクにおいて、性能面でどのように比較されるか？
• RQ3 XLM-RoBERTa などのオフザシェル事前学習済みモデルが、s2s-ft を用いて多言語生成タスクで優れた性能を発揮できるか？
• RQ4 s2s-ft における統一されたモデリングアプローチは、事前学習と微調整の間のドメインギャップを低減し、より良い一般化をもたらすか？
• RQ5 s2s-ft は、タスク固有の事前学習や大規模なモデル再学習を必要とせず、最先端の結果を達成できるか？

主な発見

• UniLMv2-LARGE を用いた s2s-ft は、XSum で 27.12 ROUGE-L、CNN/DailyMail で 54.25 ROUGE-L を達成し、T5-11B や PEGASUS よりも優れた性能を示した。
• RoBERTa-LARGE を用いた s2s-ft は、XSum で 26.82 ROUGE-L、CNN/DailyMail で 53.92 ROUGE-L を達成し、ベースサイズのモデルでも強力な性能を示した。
• 多言語要約生成において、XLM-RoBERTa-LARGE を用いた s2s-ft は、中国語 Gigaword で 58.09 ROUGE-L、フランス語 Gigaword で 55.04 ROUGE-L を達成し、XLM や XNLG のベースラインを上回った。
• 中国語の質問生成において、XLM-RoBERTa-LARGE を用いた s2s-ft は、28.49 BLEU-4 および 52.94 METEOR を達成し、XLM や XNLG を上回った。
• 擬似マスク付き微調整法は、すべてのベンチマークで一貫して最高の性能を示し、事前学習と微調整の目的のバランスを効果的にとっていることが示された。
• このツールキットは、多言語タスクにおいて強力なゼロショットおよびフェイントショット性能を実現しており、多言語事前学習済みモデルが最小限の適応で生成タスクに再利用可能であることを示している。