[论文解读] Few-shot Natural Language Generation for Task-Oriented Dialog

Baolin Peng, Chenguang Zhu+5 more|arXiv (Cornell University)|Feb 27, 2020

Topic Modeling参考文献 27被引用 31

一句话总结

本文介绍 FewShotWOZ，一种面向任务导向对话的少样本自然语言生成基准，以及 SC-GPT，一种基于 GPT-2 的语义条件模型，在有限标注数据下擅长生成领域特定、流畅的回答。

ABSTRACT

As a crucial component in task-oriented dialog systems, the Natural Language Generation (NLG) module converts a dialog act represented in a semantic form into a response in natural language. The success of traditional template-based or statistical models typically relies on heavily annotated data, which is infeasible for new domains. Therefore, it is pivotal for an NLG system to generalize well with limited labelled data in real applications. To this end, we present FewShotWoz, the first NLG benchmark to simulate the few-shot learning setting in task-oriented dialog systems. Further, we develop the SC-GPT model. It is pre-trained on a large set of annotated NLG corpus to acquire the controllable generation ability, and fine-tuned with only a few domain-specific labels to adapt to new domains. Experiments on FewShotWoz and the large Multi-Domain-WOZ datasets show that the proposed SC-GPT significantly outperforms existing methods, measured by various automatic metrics and human evaluations.

研究动机与目标

• 在新领域的标注数据稀缺时，推进任务导向对话中的NLG表现良好。
• 提出 FewShotWOZ，以在多个领域中模拟少样本适应。
• 开发 SC-GPT，一种以语义条件化的预训练模型，用于可控、流畅的NLG。
• 展示 SC-GPT 在 FewShotWOZ 和 MultiWOZ 上在自动指标与人工评估方面均优于基线。

提出的方法

• 采用三阶段训练方案：(i) 大规模纯文本预训练（以 GPT-2 为主干）；(ii) 基于带注释的对话行为与应答的对话行为条件化预训练；(iii) 使用有限领域标签进行领域特定微调。
• 在预训练和微调阶段，将对话行为表示为伴随目标话语的顺序控制码。
• 使用自回归 Transformer 来建模 p_theta(x|A)，生成受对话行为 A 条件约束。
• 仅使用若干十个领域特定标签对 SC-GPT 在新领域进行微调，以适应新行为与槽位。
• 通过避免去词汇化并实现基于语义行为的可控生成，保持灵活性。

实验结果

研究问题

• RQ1 SC-GPT 在只有极少的领域内标注数据时，能否很好地泛化到新的领域？
• RQ2 在大量对话行为带注释的语料上进行预训练，是否比基线在少样本NLG中提升可控性与流畅性？
• RQ3 FewShotWOZ 如何体现现实世界任务导向对话系统中的少样本适应挑战？

主要发现

• SC-GPT 在 FewShotWOZ 和 MultiWOZ 的自动指标与人工评估上取得最佳整体表现。
• 在少样本场景中，SC-GPT 相比 SC-LSTM 和 GPT-2 显著降低槽位错误率 (ERR) 并提升 BLEU。
• 人工评估显示 SC-GPT 在跨领域的信息性与自然度方面优于基线。
• SC-GPT 对未见对话行为的泛化优于基线，在未见行为上的 ERR 明显较低。
• 在 MultiWOZ 中，SC-GPT 获得最佳 BLEU，而当训练数据充足时 GPT-2 也具有竞争力。
• FewShotWOZ 基准在使用 SC-GPT 时揭示出强泛化和可控性优势。