[論文レビュー] Distilling Knowledge Learned in BERT for Text Generation

Yen-Chun Chen, Zhe Gan+3 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 58被引用数 21

ひとこと要約

本論文は、Bertの双方向的文脈を活用するための知識蒸留フレームワークを提案する。これは、序列付き生成タスクに適応させるために、新たな条件付きマスキング言語モデリング（C-MLM）の微調整を用いる。微調整されたBertを教師モデルとして用い、ソフト確率のターゲットを提供することで、学生モデルはグローバルな一貫性を学習し、IWSLTドイツ語-英語および英語-ベトナム語翻訳ベンチマークで最先端の結果を達成する。

ABSTRACT

Large-scale pre-trained language model such as BERT has achieved great success in language understanding tasks. However, it remains an open question how to utilize BERT for language generation. In this paper, we present a novel approach, Conditional Masked Language Modeling (C-MLM), to enable the finetuning of BERT on target generation tasks. The finetuned BERT (teacher) is exploited as extra supervision to improve conventional Seq2Seq models (student) for better text generation performance. By leveraging BERT's idiosyncratic bidirectional nature, distilling knowledge learned in BERT can encourage auto-regressive Seq2Seq models to plan ahead, imposing global sequence-level supervision for coherent text generation. Experiments show that the proposed approach significantly outperforms strong Transformer baselines on multiple language generation tasks such as machine translation and text summarization. Our proposed model also achieves new state of the art on IWSLT German-English and English-Vietnamese MT datasets. Code is available at https://github.com/ChenRocks/Distill-BERT-Textgen.

研究の動機と目的

• 自己回帰的で未来の文脈を持たないテキスト生成モデルが、Bertの双方向的文脈知識を効果的に活用する課題を解決すること。
• 微調整されたBert教師モデルからのシーケンスレベルの監視を導入することで、テキスト生成におけるグローバルな一貫性を向上させること。
• アーキテクチャの制約やパラメータ共有を必要としない、モジュール型でモデルに依存しないアプローチを開発すること。
• 軽量で効率的な蒸留メカニズムを用いて、機械翻訳および要約生成タスクで最先端の性能を達成すること。

提案手法

• 序列付きタスクに適応させるために、入力シーケンスに条件づけたC-MLM（条件付きマスキング言語モデリング）を提案。これはMLMを拡張した微調整目的である。
• C-MLMを用いて、ターゲット生成データセット上でBertを微調整し、左および右の文脈を組み込んだ次トークンの確率分布（ソフトターゲット）を生成する。
• 微調整済みBertを教師モデルとして用い、訓練シーケンス内の各トークンに対して、ソフトラベルのログティスを生成する。これにより、グローバルなシーケンスレベルの監視が可能になる。
• Bertが生成したソフトターゲットを正則化項として組み込んだ、変更されたMLE損失を用いて、学生の序列付きモデル（例：Transformer）を訓練する。
• 学生モデルがBert教師モデルの確率分布を全シーケンスにわたり一致させるよう促す、蒸留損失項 $\mathcal{L}_{\text{bidi}}$ を導入する。
• 推論時における教師モデルを分離することで、高速なデコードが可能になりながら、学習段階で得た双方向的文脈の利点を維持できる。

実験結果

リサーチクエスチョン

• RQ1 Bertの双方向的文脈が、知識蒸留によって自己回帰的テキスト生成モデルに効果的に転送可能か？
• RQ2 Bertからのグローバルなシーケンスレベルの監視を組み込むことで、生成テキストの一貫性と流暢さが向上するか？
• RQ3 提案手法は、アーキテクチャの制約なしに、多様なテキスト生成タスクで最先端の性能を達成できるか？
• RQ4 特に長文生成において、出力長の変動に応じてこの蒸留手法はどのように性能を示すか？
• RQ5 機械翻訳や要約生成といった異なる生成タスクに、汎用的に適用可能か？

主な発見

• 提案手法は、IWSLT14ドイツ語-英語翻訳データセットで、強力なTransformerベースラインを上回る、新たな最先端性能を達成した。
• IWSLT15英語-ベトナム語翻訳データセットでは、BLEUスコア27.85を達成し、最良のベースラインより0.86 BLEUポイント高い性能を示した。
• 長文（N > 24）においても、ベースラインを一貫して上回る性能を示し、IWSLTドイツ語-英語セットの長文翻訳では最大10 BLEUポイントの向上を記録した。
• 定性的な分析から、訓練段階で未来の文脈を活用することで、語の選択ミス（例：'with' と 'at' の誤用）を回避し、より一貫性のある出力を得られることを示した。
• 蒸留損失 $\mathcal{L}_{\text{bidi}}$ は一般化性能を顕著に向上させ、特にワンホットラベルに対する過信を軽減し、文脈の変化に強い性能を発揮した。
• 本手法はモデルに依存せず、パラメータ共有やアーキテクチャの変更なしに、Transformer やLSTMなど多様なアーキテクチャと互換性を持つ。