[論文レビュー] Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

Tianyi Tang, Junyi Li+2 more|arXiv (Cornell University)|Jan 21, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、文書生成における知識の想起と関連性を向上させるために、BERTのマスキングトークン予測を用いて入力固有の文脈化されたプロンプトを生成する連続的プロンプト手法であるContext-Tuningを提案する。連続的逆プロンプティングと、パラメータの0.12%のみを微調整する軽量な微調整戦略を組み合わせることで、完全微調整性能の98.0%を達成しつつ、オープンエンドな生成タスク（物語生成やレビュー生成など）における情報量と関連性を顕著に向上させた。

ABSTRACT

Recently, pretrained language models (PLMs) have had exceptional success in language generation. To leverage the rich knowledge encoded by PLMs, a simple yet powerful paradigm is to use prompts in the form of either discrete tokens or continuous embeddings. In existing studies, these prompting methods are typically independent of the inputs, lacking sufficient consideration of input semantics. To address this issue, we propose a novel continuous prompting approach, called context-tuning, to fine-tuning PLMs for natural language generation. Firstly, the prompts are derived based on the input text to elicit useful knowledge from PLMs for generation. We refer to such prompts as contextualized prompts. Secondly, we use continuous inverse prompting to improve the process of natural language generation by modeling an inverse generation process from output to input, making the generated text more relevant to the inputs. Furthermore, we utilize a lightweight context-tuning method that fine-tunes only 0.12% of the parameters while maintaining good performance. Our code is publicly available at https://github.com/RUCAIBox/Context-Tuning.

研究の動機と目的

• 自然言語生成における静的プロンプトの限界に対処する。静的プロンプトは入力にかかわらず変化せず、入力固有の意味を活用できない。
• 入力コンテンツに動的に条件づけられたプロンプトを導出することで、生成テキストの情報量と関連性を向上させる。
• 出力から入力への逆生成プロセスをモデル化することで、連続的逆プロンプティングを適用し、生成品質を向上させる。
• パラメータの0.12%のみを変更する軽量なコンテキスト微調整手法を提案することで、効率的な微調整を実現する。
• 事前学習済み言語モデルから入力に関連する知識を効果的に引き出すために、文脈化されたプロンプトの有効性を示す。

提案手法

• 入力テキストと[MASK]トークンをBERTに供給し、[MASK]トークンの最終隠れ層状態を連続的プロンプトベクトルとして生成する。
• プロンプトは入力の意味に条件づけられており、事前学習済み言語モデルから関連する知識を引き出すことで、生成品質を向上させる。
• 入力の再構築尤度を最大化することで連続的逆プロンプティングを適用し、入力と出力の関連性を向上させる。
• 軽量なコンテキスト微調整戦略を用い、すべてのモデルパラメータのバイアス項のみを微調整することで、学習コストを削減する。
• 文脈化されたプロンプトと逆プロンプティングを統合したフレームワークを構築し、最小限のパラメータ更新でエンドツーエンドのテキスト生成を実現する。
• 自動評価と人的評価指標を用いて、物語生成やレビュー生成を含む4つの生成タスクで手法を評価した。

実験結果

リサーチクエスチョン

• RQ1 入力に依存する連続的プロンプトは、オープンエンドな生成タスクにおける生成テキストの情報量を向上させることができるか？
• RQ2 連続的逆プロンプティングは、生成テキストと入力文脈の関連性を向上させるのにどの程度有効か？
• RQ3 軽量な微調整戦略は、パラメータ更新を削減しながらも、性能をどの程度維持できるか？
• RQ4 静的プロンプトと比較して、文脈化されたプロンプトは入力に関連する知識をよりよく捉えられるか？
• RQ5 自動評価および人的評価において、提案手法は強力なベースラインと比較してどの程度優れているか？

主な発見

• Context-Tuningは、パラメータの0.12%のみを微調整しながら、完全微調整モデルの98.0%の性能を達成し、高い効率性を示した。
• 人的評価では、Context-TuningがGPT-2、BART、T5をすべての品質指標（情報量、関連性、一貫性、流暢さ）で上回った。
• 定性的な分析と文脈化されたプロンプトからのキーワードリコールによって、入力に高い関連性を持つ物語が生成されたことが裏付けられた。
• リコール解析の結果、生成された物語の85%のキーワードが、文脈化されたプロンプトに最も近い10語のうちに入っていたことから、知識の整合性が確認された。
• トゥーリングテストの結果、人間評価者が人間が書いた物語とContext-Tuningで生成された物語を信頼性を持って区別できなかったため、高い自然さと流暢さが示された。
• 自動評価では、WritingPrompts、CMV、DailyDialogの各データセットで最先端の結果を達成し、ROUGEおよびBLEUスコアで顕著な向上が見られた。