[論文レビュー] Controllable Mixed-Initiative Dialogue Generation through Prompting

Maximillian Chen, Xiao Yu+3 more|arXiv (Cornell University)|May 6, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、制御可能なミックスド・イニシアチブ対話生成におけるファインチューニングの代替手段として、大規模言語モデル（LLMs）を少-shotプロンプトで使用することを提案する。人間評価および自動指標において、プロンプトベースのLLMが、ファインチューニングモデルおよび正解応答よりも優れた性能を示した。2つのタスク、感情的支援対話（Emotional Support Conversations）およびPersuasionForGood（P4G）においてその有効性が確認された。

ABSTRACT

Mixed-initiative dialogue tasks involve repeated exchanges of information and conversational control. Conversational agents gain control by generating responses that follow particular dialogue intents or strategies, prescribed by a policy planner. The standard approach has been fine-tuning pre-trained language models to perform generation conditioned on these intents. However, these supervised generation models are limited by the cost and quality of data annotation. We instead prompt large language models as a drop-in replacement to fine-tuning on conditional generation. We formalize prompt construction for controllable mixed-initiative dialogue. Our findings show improvements over fine-tuning and ground truth responses according to human evaluation and automatic metrics for two tasks: PersuasionForGood and Emotional Support Conversations.

研究の動機と目的

• ファインチューニングモデルの制御可能な対話生成における限界、例えば高額なアノテーションコストやデータ品質・分布シフトへの感受性を解消すること。
• 事前学習済みLLMの少-shotプロンプトが、教師ありファインチューニングよりも優れた制御性と応答品質を達成できるかどうかを検討すること。
• ミックスド・イニシアチブ環境における特定の対話戦略に応じた応答生成を可能にするためのプロンプト工学の有効性を評価すること。
• 自動指標および人間評価指標において、プロンプトベースのLLMをファインチューニングモデルおよび人間アノテート済み正解応答と比較すること。

提案手法

• 対話履歴と望ましい戦略を条件として与える構造化された少-shotプロンプトを設計し、制御可能なミックスド・イニシアチブ対話におけるプロンプト構築を形式化すること。
• 少数の例示的サンプル（in-context learning）を用いて、LLMが特定の対話戦略（例：再述、共感、方向転換）に一致する応答を生成するように誘導すること。
• GPT-3などの大規模事前学習言語モデルをゼロショットまたは少ショットの生成ヘッドとして活用し、タスク固有のファインチューニングの必要性を排除すること。
• 対話履歴、ターゲット戦略、および例示的応答ペアを含むプロンプトを設計し、モデル出力をガイドすること。
• 自動指標および人間評価を用いて、2つのベンチマークデータセット（Emotional Support Conversations（ESC）およびPersuasionForGood（P4G））上でシステムを評価すること。
• プロンプトベースのLLMアプローチを、ファインチューニングモデル（例：Oracle-BlenderBot）および人間アノテート済み正解応答と比較すること。

実験結果

リサーチクエスチョン

• RQ1 ミックスド・イニシアチブ環境において、大規模言語モデルの少ショットプロンプトが、特定の対話戦略に一致する応答を効果的に生成できるか？
• RQ2 応答品質および戦略適合性の観点から、プロンプトベースのLLM生成はファインチューニングモデルと比べてどのように異なるか？
• RQ3 学習データにノイズが含まれたり分布がシフトした場合、コンテキスト例を用いたプロンプトがファインチューニングを上回る生成品質を実現できるか？
• RQ4 タスク固有のファインチューニングを一切行わず、プロンプトベースのLLMが人間水準の応答品質および戦略制御を達成できるか？
• RQ5 低リソースまたは不流暢な言語パターンを含むユーザー入力の変動に対して、プロンプトベースのアプローチはどれほど頑健か？

主な発見

• 感情的支援対話（ESC）データセットにおいて、プロンプトベースのLLMは人間評価でファインチューニングモデルおよび正解応答の両方を上回る優れた性能を示した。
• PersuasionForGood（P4G）データセットでは、自動指標および人間評価の両方で、プロンプトベースのLLMがファインチューニングモデルを上回った。特に、説得力および一貫性の観点で顕著な優位性を示した。
• 人間評価者により、プロンプトベースのLLMの応答は、正解戦略ラベルを用いて訓練されたファインチューニングモデルの応答よりも自然で、一貫性があり、より整合性があると評価された。
• 本アプローチは分布シフトやアノテーションノイズに対しても頑健であり、ファインチューニングなしで多様な会話文脈に一般化する能力を示した。
• 不流暢または低リソースなユーザー入力が存在する状況でも、プロンプトベースのLLMは応答品質と一貫性を維持し、分布外入力に対処に苦労するファインチューニングモデルを上回った。
• 本研究では、注意深く設計されたコンテキスト例を用いたプロンプトが、再述、共感、方向転換といった複雑な対話戦略を、高い忠実度で効果的に模倣可能であることを明らかにした。