[論文レビュー] Few-Shot Bot: Prompt-Based Learning for Dialogue Systems

Andrea Madotto, Zhaojiang Lin+2 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 103被引用数 45

ひとこと要約

大規模言語モデルを用いたプロンプトベースのFew-Shot学習は、多様なタスクで完全に訓練された対話モデルと競合する結果を達成でき、Few-Shot Bot (FSB) はファインチューニングなしでプロンプトベースのSkill Selectorを用いて自動的にスキルを選択する。

ABSTRACT

Learning to converse using only a few examples is a great challenge in conversational AI. The current best conversational models, which are either good chit-chatters (e.g., BlenderBot) or goal-oriented systems (e.g., MinTL), are language models (LMs) fine-tuned on large conversational datasets. Training these models is expensive, both in terms of computational resources and time, and it is hard to keep them up to date with new conversational skills. A simple yet unexplored solution is prompt-based few-shot learning (Brown et al. 2020) which does not require gradient-based fine-tuning but instead uses a few examples in the LM context as the only source of learning. In this paper, we explore prompt-based few-shot learning in dialogue tasks. We benchmark LMs of different sizes in nine response generation tasks, which include four knowledge-grounded tasks, a task-oriented generations task, three open-chat tasks, and controlled stylistic generation, and five conversational parsing tasks, which include dialogue state tracking, graph path generation, persona information extraction, document retrieval, and internet query generation. The current largest released LM (GPT-J-6B) using prompt-based few-shot learning, and thus requiring no training, achieves competitive performance to fully trained state-of-the-art models. Moreover, we propose a novel prompt-based few-shot classifier, that also does not require any fine-tuning, to select the most appropriate prompt given a dialogue history. Finally, by combining the power of prompt-based few-shot learning and a Skill Selector, we create an end-to-end chatbot named the Few-Shot Bot (FSB), which automatically selects the most appropriate conversational skill, queries different knowledge bases or the internet, and uses the retrieved knowledge to generate a human-like response, all using only few dialogue examples per skill.

研究の動機と目的

• 対話システムの heavy gradient-based fine-tuning 依存を減らす動機づけとして、プロンプトベース学習を活用する。
• 知識ベース、タスク指向、オープンチャット、解析を含む幅広い対話タスクとデータセットにわたってプロンプトベースのfew-shot学習をベンチマークする。
• 訓練なしで対話履歴を最も適切なプロンプト/スキルへマップするSkill Selectorを導入する。
• 各スキルごとに少数ショットのプロンプトだけを用いて、スキル選択、知識取得、応答生成を自動化するFew-Shot Bot (FSB)を提案する。

提案手法

• 勾配更新なしで、連結されたfew-shotプロンプトを用いてP(Y|X, Prompt_k)を計算する言語モデルを使用する（X=対話履歴、Y=応答）。
• タスク特化のプロンプト（Prompt_k）をk-shotデモンストレーションとともに設計し、ファインチューニングとの比較でベースラインとする。
• 対話履歴を与えられたときに最も適切なPromptを選ぶPrompt-Based Few-Shot Skill Selectorを導入し、各候補スキルyについてP(X|Prompt_k^y)を評価する。
• Skill Selectorを複数のプロンプトと外部知識源（知識ベース、インターネット、KG）と組み合わせて、知識ベースの応答を生成するFew-Shot Bot (FSB)を実装する。
• ローカル展開にはGPT-J (6B)を主要LMとして、より大きなモデルにはAPI経由でGPT-Jurassicを使用し、1-shotプロンプトと0/1/k-shot実験をタスク横断で行う。

実験結果

リサーチクエスチョン

• RQ1 大規模LMを用いたプロンプトベースのfew-shot学習は、微調整なしで多様な対話タスクにおいて完全に訓練されたモデルと競合する結果を達成できるか？
• RQ2 プロンプトベースのSkill Selectorは、与えられた対話履歴に対して最も適切なプロンプト/スキルを効果的に識別できるか？
• RQ3 モデルサイズとショット数が応答生成と対話解析タスクの性能にどのように影響するか？
• RQ4 困惑度（perplexity）や評価指標における、プロンプトベースのfew-shot手法と最新の完全に訓練されたモデルとの差はどれくらいか？
• RQ5 エンドツーエンドのFew-Shot Botが複数の知識源を活用して、モデル学習なしで人間らしく知識に基づく応答を生成できるか？

主な発見

• 大規模言語モデル（GPT-J 6B）はタスクを問わず一貫して小規模モデルを上回り、サイズと性能の間に線形関係があることを示している。
• ショット数を増やしても必ずしも結果が向上するわけではなく、知識基盤のタスクでは少数ショットのほうが最良の性能を示すことがある。
• 対話解析タスクはプロンプトベース学習にとって難しく、SOTAの完全訓練モデルとのギャップが大きい。ビームサーチなどのデコード戦略を活用できる可能性がある。
• FSBとSOTAの困惑度のギャップは相対的に小さく、サンプリング戦略の改善で潜在的な向上が見込まれる。
• プロンプトベースのSkill-Selectorは、ファインチューニング済みのRoBERTaベースラインに競争力のある結果を達成しつつ訓練を回避する。新しいスキルの追加が容易に拡張可能。
• エンドツーエンドのFew-Shot Botは複数の知識源にアクセスし、ユーザーの好みを追跡し、各スキルごとに少数ショットプロンプトのみを用いて知識に基づく応答を生成できる。