[論文レビュー] Control Prefixes for Text Generation.

Jordan Clive, Kris Cao+1 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 51被引用数 17

ひとこと要約

本論文では、事前学習されたトランスフォーマーの異なる層に学習可能な属性固有の表現を統合することで、テキスト生成における条件付きで細分化された制御を可能にする、動的プロンプト学習手法であるControl Prefixesを紹介する。この手法は、静的でデータセットレベルのプロンプトにとどまらない、入力依存のプロンプト適応を可能にすることで、WebNLGを含む複数のGEMベンチマークデータセットで最先端の結果を達成している。

ABSTRACT

Prompt learning methods adapt pre-trained language models to downstream applications by using a task-specific prompt together with the input. Most of the current work on prompt learning in text generation relies on a shared dataset-level prompt for all examples in the dataset. We extend this approach and propose a dynamic method, Control Prefixes, which allows for the inclusion of conditional input-dependent information in each prompt. Control Prefixes is at the intersection of prompt learning and controlled generation, empowering the model to have finer-grained control during text generation. The method incorporates attribute-level learnable representations into different layers of a pre-trained transformer, allowing for the generated text to be guided in a particular direction. We provide a systematic evaluation of the technique and apply it to five datasets from the GEM benchmark for natural language generation (NLG). We present state-of-the-art results on several data-to-text datasets, including WebNLG.

研究の動機と目的

• テキスト生成における静的でデータセットレベルのプロンプトの制限を克服し、入力依存の条件付き制御を可能にすること。
• 事前学習されたトランスフォーマーの複数の層に、属性レベルの学習可能な表現を統合して、より細分化された生成制御を実現すること。
• 入力属性に基づく動的プロンプト適応を可能にすることで、プロンプト学習と制御生成を統合すること。
• GEMベンチマークにおける多様な自然言語生成タスクにおいて、本手法の有効性を評価すること。
• WebNLGのようなデータからテキストへの変換ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• Control Prefixesは、入力属性に条件付けられた学習可能なタスク固有のプレフィックストークンを導入し、事前学習されたトランスフォーマーの複数の層に統合する。
• この手法は、これらのプレフィックストークンを注入することで、アテンション層およびフィードフォワード層を動的に変更し、メインモデルと同時に端末から端末まで訓練される。
• 属性レベルの表現を用いて生成プロセスをガイドすることで、出力テキスト内の特定の属性に対する制御を可能にする。
• プレフィックス埋め込みは層間で共有されるが、入力固有の条件付け信号によってモodulatedされ、文脈に適したプロンプトを生成する。
• 基本モデルのアーキテクチャに変更を加えずに、標準的な言語モデリング目的関数を用いてエンドツーエンドで訓練される。
• 推論時に入力条件付けを調整することで、ゼロショットおよびフェイワショットの適応をサポートする。

実験結果

リサーチクエスチョン

• RQ1 静的でデータセットレベルのプロンプトと比較して、動的で入力依存のプロンプトはテキスト生成の質を向上させるか？
• RQ2 学習可能なプレフィックストークンは、生成テキスト内の特定の属性に対する細分化された制御をどの程度可能にするか？
• RQ3 Control PrefixesはGEMベンチマークの多様なデータからテキストへの変換タスクでどの程度の性能を示すか？
• RQ4 本手法はWebNLGのような確立されたベンチマークで最先端の結果を達成するか？
• RQ5 本手法は、最小限のアーキテクチャ的変更で、さまざまなNLGタスクに効果的に一般化できるか？

主な発見

• Control Prefixesは、WebNLGを含むGEMベンチマークの複数のデータからテキストへの変換データセットで最先端のパフォーマンスを達成している。
• 入力依存のプロンプト適応を可能にすることで、生成品質が著しく向上し、静的プロンプトベースラインを上回っている。
• 複数のトランスフォーマーレイヤーに属性レベルの表現を統合することで、より一貫性があり制御されたテキスト生成が実現されている。
• タスク固有のアーキテクチャ変更を要せず、多様なNLGタスクにうまく一般化されている。
• 低リソース設定でも強いパフォーマンスを維持しており、フェイワショットおよびゼロショットのシナリオにおいても頑健であることが示された。
• 実騴的結果により、動的プレフィックス機構が従来のプロンプト学習と比較して、より細分化された制御を可能にすることが確認された。