[论文解读] Few-Shot Natural Language Generation by Rewriting Templates

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling被引用 13

一句话总结

本文提出了一种少样本自然语言生成方法，通过模板重写技术实现虚拟助手中大量槽位的高效扩展。该方法结合简单模板与微调过的预训练语言模型，生成连贯自然的语句，在远少于基线方法的训练样本下实现优越性能。

ABSTRACT

Virtual assistants such as Google Assistant, Alexa and Siri enable users to interact with a large number of services and APIs on the web using natural language. The response generation module converts the actions generated by a policy module into a natural language utterance. Traditionally, template based approaches have been used for response generation in virtual assistants. However, such approaches are not feasible for commercial assistants, which need to support a large number of services. Defining templates for a large number of slot combinations for each of the services supported by large scale assistants becomes tedious. In this work, we propose a template rewriting method for Natural Language Generation (NLG), where the number of templates scales only linearly with the number of slots. A set of simple templates is used to convert actions into utterances, which are concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, while being much more sample efficient.

研究动机与目标

• 解决支持数千项服务的大规模虚拟助手中基于模板的自然语言生成的可扩展性挑战。
• 减少在众多服务中为每个槽位组合手动定义模板的工作量。
• 通过利用预训练语言模型重写不连贯的模板输出，实现自然语言生成的少样本学习。
• 在保持高流畅度和语义正确性的同时，提升样本效率。

提出的方法

• 为每个动作构建一组简单、可重用的模板，通过直接填充槽位生成原始语句，该语句语义正确但可能不连贯。
• 将原始语句输入在对话数据上微调过的预训练语言模型，以重写为流畅自然的响应。
• 该方法与槽位数量呈线性增长，避免了传统方法中出现的指数级模板增长。
• 重写过程保留了意图和槽位信息，同时提升了语法正确性和连贯性。
• 通过少量样本进行微调，实现对新服务或槽位组合的快速适应。

实验结果

研究问题

• RQ1 基于模板的NLG系统是否能在不出现指数级模板增长的情况下，高效扩展至大量槽位组合？
• RQ2 预训练语言模型是否能有效在极少监督下将原始模板输出重写为流畅自然的语句？
• RQ3 该方法在少样本设置下的性能与强基线相比，在流畅度和语义准确性方面如何？
• RQ4 该方法在多大程度上减少了商业虚拟助手对大量人工编写的模板的需求？

主要发现

• 在自动评估和人工评估指标上，所提方法在流畅度和语法正确性方面均优于强基线模型。
• 该模型展现出强大的少样本泛化能力，所需训练样本远少于基线方法。
• 该方法与槽位数量呈线性扩展，使其适用于具有多样化服务集成的大规模虚拟助手。
• 人工评估确认，经重写的语句在自然度和连贯性方面被认为优于仅使用模板或基线神经方法生成的语句。