[论文解读] Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation

Chujie Zheng, Minlie Huang|arXiv (Cornell University)|Sep 14, 2021

Topic Modeling参考文献 32被引用 27

一句话总结

论文提出了一种基于提示的少-shot 框架用于具身对话生成（GDG），并显示带提示的语言模型在三个 GDG 任务中优于对话模型，离散提示具有鲁棒性和强 grounding 性能。

ABSTRACT

Dialog models can be greatly strengthened through grounding on various external information, but grounded dialog corpora are usually not naturally accessible. In this work, we focus on the few-shot learning for grounded dialog generation (GDG). We first propose a simple prompting method for GDG tasks, where different constructs of model input, such as the grounding source and the conversation context, are distinguished through continuous or discrete prompts. On three typical GDG tasks, we empirically demonstrate and analyze in-depth the effectiveness of our method. We then conduct extensive experiments to thoroughly investigate how our prompting method works with different pre-trained models. We show that prompted language models perform superiorly to conversational models, and further analyze various factors that influence the effects of prompting. Overall, our work introduces a prompt-based perspective to the few-shot learning for GDG tasks, and provides valuable findings and insights for future research.

研究动机与目标

• 通过利用少样本学习解决具身对话生成中的数据稀缺问题。
• 提出一种简单的提示方法，在 GDG 任务中区分复杂输入结构（ grounding 源 vs. 对话上下文）。
• 在多个人工对 GDG 数据集上评估提示与不同预训练模型的交互。

提出的方法

• 引入连续提示（指示性 token）和离散提示（带任务指令的文本描述）以在输入中分离 grounding 源和对话上下文。
• 以 GPT2-medium 作为骨干模型测试三项 GDG 任务（Wizard-of-Wikipedia、PersonaChat、ESConv）的提示效果。
• 使用交叉熵训练所有模型参数以目标回应；推理阶段根据模型任务采用束搜索和核采样。
• 将提示与无提示进行对比，并分析提示初始化和扰动对性能的敏感性。
• 在多种骨干模型上评估提示（GPT2、T5、BART），研究跨模型的适用性。
• 通过困惑度、BLEU-2、 unigram F1 和 grounding 指标（Wiki/PSN F1 或 Match Ratio）进行评估报告。

实验结果

研究问题

• RQ1 在 grounding 来源存在时，基于提示的少-shot 学习是否提升 GDG 的性能？
• RQ2 在 GDG 的少-shot 与全数据情境下，连续提示与离散提示的比较如何？
• RQ3 提示方法如何与不同预训练模型架构（自回归 vs 编码器-解码器）和尺寸互动？
• RQ4 带提示的语言模型是否在所有 GDG 任务中都比对话模型更善于 grounding？

主要发现

• 通过提示区分输入结构可提升 GDG 的少-shot 性能，但初始化较差的提示可能会削弱学习效果。
• 在少-shot与全数据设置下，离散提示通常优于连续提示，展现对轻微提示变更的鲁棒性。
• 在三项 GDG 任务中，带提示的语言模型在许多设置下优于对话模型。
• 提示效果依赖骨干模型大小与 pre-training 目标；像 GPT2 和 T5-Large 的语言模型在某些任务中比 BART 更能从提示中获益。
• 带提示的语言模型如 GPT2 和 T5 能更好地利用 grounding 信息，而未提示的对比模型往往受益不大。