[論文レビュー] Deliberate then Generate: Enhanced Prompting Framework for Text Generation

Bei Li, Rui Wang+8 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）のテキスト生成を向上させるために、候補出力の誤りを事前に検出するよう指示することで、洗練された結果を生成する「熟考次に生成（DTG）」という新しいプロンプティングフレームワークを提案する。誤りのあるか、不適切な候補（例えば空文字列やランダムなテキスト）を用いることで、LLMsが熟考的推論を発動させ、要約、翻訳、対話などの7つのテキスト生成タスクにおける20以上のデータセットで一貫したパフォーマンス向上を達成し、複数のベンチマークで最先端の結果を達成した。

ABSTRACT

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.

研究の動機と目的

• 標準プロンプティングが正しい情報のみを扱うという制限を克服するため、LLMsが生成の前に誤りを熟考し検出できるようにすること。
• LLMsに誤った出力を評価・是正するようプロンプトすることで、生成品質が向上するかを検証すること。
• 多様なテキスト生成タスクにわたって最小限の変更で適用可能な、シンプルかつ効果的なプロンプティングフレームワークを開発すること。
• DTGがモデルパフォーマンスを向上させ、LLMs内の背後にある熟考的メカニズムを明らかにすることを実証的に検証すること。

提案手法

• DTGは二段階のプロンプティングプロセスを導入する：まず、モデルに候補出力の誤りを検出するよう指示し、次に洗練されたバージョンを生成する。
• 候補入力は意図的に誤りまたは不適切なもの（例えば空文字列やランダムなテキスト）にすることで、モデルが誤り検出と是正に取り組むように強制する。
• フレームワークは固定されたプロンプトテンプレートを用いる：'まず誤りの種別を特定し、その後に洗練された結果を提示してください。'
• 要約、翻訳、対話、常識的生成など、多様なタスクにわたって最小限のプロンプト工学で適用される。
• 実験では、GPT-3.5とGPT-4を用い、ゼロショットおよびフェイショット設定で一般化性能とロバストネスを評価する。
• 誤り分析にはアライメントツール（awesome-align）と名前付きエンティティ認識（spaCy）を用い、翻訳不足とエンティティ翻訳誤りの度合を定量化する。

実験結果

リサーチクエスチョン

• RQ1 候補出力に潜在する誤りについてLLMsに熟考させることで、生成品質が向上するか？
• RQ2 不適切または誤った入力（例：ランダムなテキストや空文字列）を用いることで、LLMsが誤り検出と是正を効果的に引き起こせるか？
• RQ3 多様なテキスト生成タスクおよびモデルバリアントにおいて、DTGは標準プロンプティングと比較してどのように異なるか？
• RQ4 DTGが示すパフォーマンス向上の背後にあるメカニズム、特に誤り回避と是正の観点から、どのようなものか？

主な発見

• DTGは、要約、翻訳、対話など7つのテキスト生成タスクをカバーする20以上のデータセットにおいて、標準プロンプティングを一貫して上回る性能を示した。
• WMT ZH-EN翻訳ベンチマークでは、標準プロンプティングのBLEUが23.6から25.2に向上し、COMETが81.12から81.70に向上した。
• 不適切な候補（例：ランダムなテキストや空文字列）を用いることで、固定された誤った候補や正しい候補を用いた場合よりも優れた結果が得られた。これは、基準出力から著しく乖離した入力が熟考を促進することを示唆している。
• アブレーションスタディにより、誤った候補が提示された際、LLMsが実際に誤り検出を熟考的に行っていることが確認され、生成品質の向上が裏付けられた。
• 機械翻訳、テキスト簡略化、常識的生成など、複数のベンチマークで最先端のパフォーマンスを達成した。
• 誤り分析の結果、DTGは翻訳不足と名前付きエンティティの翻訳誤りを顕著に低減しており、誤り回避における有効性が裏付けられた。