[論文レビュー] Encoder-Agnostic Adaptation for Conditional Language Generation

Zachary M. Ziegler, Luke Melas-Kyriazi+2 more|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 31被引用数 23

ひとこと要約

本稿では、タスク固有のエンコーダーを必要とせずに事前学習済み言語モデルを条件付きテキスト生成に適応させる手法として、擬似自己注意（pseudo self-attention）を提案する。タスク固有の条件付けを直接自己注意メカニズムに組み込むことで、要約、物語生成、画像キャプション生成などの多様な生成タスクにおいて、一貫性、データ効率性、パフォーマンスの面で優れた結果が得られ、限られたファインチューニングデータでも強力なベースラインや非事前学習モデルを上回る性能を発揮する。

ABSTRACT

Large pretrained language models have changed the way researchers approach discriminative natural language understanding tasks, leading to the dominance of approaches that adapt a pretrained model for arbitrary downstream tasks. However it is an open-question how to use similar techniques for language generation. Early results in the encoder-agnostic setting have been mostly negative. In this work we explore methods for adapting a pretrained language model to arbitrary conditional input. We observe that pretrained transformer models are sensitive to large parameter changes during tuning. We therefore propose an adaptation that directly injects arbitrary conditioning into self attention, an approach we call pseudo self attention. Through experiments on four diverse conditional text generation tasks we show that this encoder-agnostic technique outperforms strong baselines, produces coherent generations, and is data efficient.

研究の動機と目的

• 事前学習済み言語モデルを、タスク固有のエンコーダーを必要とせずに条件付きテキスト生成に適応する課題に対処すること。
• 生成タスクにおけるエンコーダーに依存しない設定で、標準的なファインチューニング手法が失敗する理由を調査すること。
• 任意の入力モodal（マルチモーダル）に効果的に条件付けを行うことができる一方で、事前学習済みモデルの生成品質を保持する手法を開発すること。
• 長文の条件付き生成において、データ効率性と質的一貫性の向上を実証すること。
• 自然言語理解（NLU）におけるソース表現の改善と、自然言語生成（NLG）における生成能力の向上の根本的な違いを強調すること。

提案手法

• 事前学習済みデコーダーの自己注意メカニズムにタスク固有の条件付けを組み込む、擬似自己注意を提案する。
• タスク固有のエンコーダーを用いて条件付けベクトルを生成し、それを自己注意層の学習可能なクエリ／キー／バリューとして挿入する。
• 注入された条件付けを擬似トークン列として扱うことで、元のトランスフォーマーアーキテクチャを維持し、注意のダイナミクスを保つ。
• モデル全体をエンドツーエンドでファインチューニングすることで、事前学習済みデコーダーが新しい入力に適応しつつ、言語モデリング能力を保持できるようにする。
• 標準的なトランスフォーマー・デコーダー（例：GPT-2）をベースモデルとして採用し、テキスト、画像、クラスラベルなど多様な入力モダリティに本手法を適用する。
• ファインチューニング中にタスク固有のエンコーダーとデコーダーを同時に学習させることで、任意の入力に効果的に条件付けする方法をモデルが学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なファインチューニング手法は、エンコーダーに依存しない設定で、事前学習済み言語モデルを条件付き生成に適応させる際に失敗するのか？
• RQ2 任意の入力モダリティに効果的に条件付けを行うことができる一方で、事前学習済みモデルの生成品質を保持する手法を設計できるか？
• RQ3 自己注意に直接条件付けを注入することで、ベースラインの適応手法と比較して一貫性とデータ効率性が向上するか？
• RQ4 融合ベースや事前学習ベースのベースラインと比較して、擬似自己注意はパフォーマンスおよび出力の質的品質で優れているか？
• RQ5 入力コンテキストへの適合性を保ちながら、生成品質を著しく向上させる方法として、本手法はどの程度の効果を発揮するか？

主な発見

• 擬似自己注意は、融合ベース手法や非事前学習モデルを含む強力なベースラインを、4つの多様な条件付き生成タスクで上回る。
• 限られた学習データでも顕著なパフォーマンス向上が得られ、高いデータ効率性を示している。
• 映画レビュー生成タスクでは、1.8k例の学習データしか使用しなかった擬似自己注意モデルが、一貫性があり文法的に正しい出力を生成した一方で、非事前学習ベースラインは一貫性を保てなかった。
• 定性的なサンプルでは、擬似自己注意はベースラインよりも一貫性があり物語的要素を含む出力を生成しているのに対し、ベースラインはしばしば不整合や反復的なテキストを生成していた。
• テキスト以外の入力モダリティ（例：画像やクラスラベル）に対しても、入力コンテキストへの適合性を強く保ちつつ、生成品質を著しく向上させている。
• 結果から、自然言語理解（NLU）におけるソース表現の改善と、自然言語生成（NLG）における生成能力の向上には根本的な違いがあることが示唆されており、後者には擬似自己注意のようなアーキテクチャ的革新が不可欠である。