[論文レビュー] Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation

Chujie Zheng, Minlie Huang|arXiv (Cornell University)|Sep 14, 2021

Topic Modeling参考文献 32被引用数 27

ひとこと要約

論文は、 grounded dialog generation (GDG) のための prompt-based few-shot フレームワークを提案し、提案された言語モデルが3つのGDGタスク全体で会話モデルを上回ることを示し、離散的な prompts が堅牢性と強力な grounding 性能を提供する。

ABSTRACT

Dialog models can be greatly strengthened through grounding on various external information, but grounded dialog corpora are usually not naturally accessible. In this work, we focus on the few-shot learning for grounded dialog generation (GDG). We first propose a simple prompting method for GDG tasks, where different constructs of model input, such as the grounding source and the conversation context, are distinguished through continuous or discrete prompts. On three typical GDG tasks, we empirically demonstrate and analyze in-depth the effectiveness of our method. We then conduct extensive experiments to thoroughly investigate how our prompting method works with different pre-trained models. We show that prompted language models perform superiorly to conversational models, and further analyze various factors that influence the effects of prompting. Overall, our work introduces a prompt-based perspective to the few-shot learning for GDG tasks, and provides valuable findings and insights for future research.

研究の動機と目的

• few-shot 学習を活用して、grounded dialog generation におけるデータ不足の問題に対処する。
• GDG タスクにおける複雑な入力構成（ grounding source と会話コンテキスト）を区別するための単純な prompting 手法を提案する。
• 複数の GDG データセットにわたるさまざまな事前学習モデルとの prompting の相互作用を評価する。

提案手法

• 入力内の grounding source と会話コンテキストを分離するために、連続的な（ind 指示トークンを含む）と離散的な（タスク指示を含むテキスト記述） prompts を導入する。
• GPT2-medium をバックボーンとして、3つの GDG タスク（Wizard-of-Wikipedia、PersonaChat、ESConv）で prompting の有効性を検証する。
• ターゲット応答に対してクロスエントロピーで全パラメータを訓練する；推論時にはモデルのタスクに応じて beam search と nucleus sampling を用いる。
• No Prompts に対する prompting を比較し、prompt 初期化および摂動に対する感度を分析する。
• 複数のバックボーン（GPT2、T5、BART）で prompts を評価し、モデル間の適用性を検討する。
• 評価指標として perplexity、BLEU-2、 unigram F1、 grounding 指標（Wiki/PSN F1 または Match Ratio）で報告する。

実験結果

リサーチクエスチョン

• RQ1 grounding sources が存在する場合、prompt-based few-shot 学習は GDG の性能を向上させるか？
• RQ2 GDG における few-shot および full-data レジームで、 continuous と discrete prompts はどのように比較されるか？
• RQ3 prompting 手法は、autoregressive と encoder-decoder の異なる事前学習モデルアーキテクチャおよびサイズとどのように相互作用するか？
• RQ4 prompted 言語モデルは、GDG タスク全般で会話モデルより grounding が優れているか？

主な発見

• prompts で入力構成を区別することは、GDG の few-shot パフォーマンスを向上させるが、初期化が不適切な prompts は学習を害する可能性がある。
• 離散的 prompts は、few-shot および full-data の設定のいずれでも、連続 prompts よりも一般に優れ、わずかな prompts の変更に対して堅牢性を示す。
• 3つの GDG タスクで多くの設定において、 prompting された言語モデルは会話モデルを上回る。
• prompt の有効性はバックボーンモデルのサイズと事前学習目的に依存する；GPT2 や T5-Large のような言語モデルは、いくつかのタスクで BART より prompting の恩恵を受ける。
• prompted 言語モデルは、GPT2 や T5 のようなモデルが未 prompting の counterparts より grounding 情報をより良く活用できる一方、会話モデルは prompting の恩恵を受けないことがある。