[论文解读] Meta-Learning for Low-resource Natural Language Generation in Task-oriented Dialogue Systems

Fei Mi, Minlie Huang+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 23被引用 16

一句话总结

本文提出 Meta-NLG，一种基于 MAML 的模型无关元学习框架，用于任务导向对话系统中的低资源自然语言生成（NLG）。通过将不同对话领域视为元任务，Meta-NLG 学习一种模型初始化，使模型能够快速且有效地适应新的低资源 NLG 场景，在 MultiWoz 数据集上对多样化领域的自动评估与人工评估中，显著优于标准微调和多任务学习基线方法。

ABSTRACT

Natural language generation (NLG) is an essential component of task-oriented dialogue systems. Despite the recent success of neural approaches for NLG, they are typically developed for particular domains with rich annotated training examples. In this paper, we study NLG in a low-resource setting to generate sentences in new scenarios with handful training examples. We formulate the problem from a meta-learning perspective, and propose a generalized optimization-based approach (Meta-NLG) based on the well-recognized model-agnostic meta-learning (MAML) algorithm. Meta-NLG defines a set of meta tasks, and directly incorporates the objective of adapting to new low-resource NLG tasks into the meta-learning optimization process. Extensive experiments are conducted on a large multi-domain dataset (MultiWoz) with diverse linguistic variations. We show that Meta-NLG significantly outperforms other training procedures in various low-resource configurations. We analyze the results, and demonstrate that Meta-NLG adapts extremely fast and well to low-resource situations.

研究动机与目标

• 解决在仅对新领域提供少量标注样本的低资源设置下，训练有效自然语言生成（NLG）模型的挑战。
• 在无需大量重训练或领域特定架构修改的前提下，提升模型在新 NLG 任务上的泛化能力与适应速度。
• 开发一种元学习框架，通过学习稳健的模型参数初始化，实现在新低资源 NLG 任务上的快速微调。
• 利用大规模、多样化的多领域基准（MultiWoz）评估元学习在 NLG 中的有效性，该基准包含丰富的语言变体。

提出的方法

• 通过将每个对话领域或对话行为类型视为独立的元任务，将低资源 NLG 问题形式化为元学习问题。
• 改进 MAML（模型无关元学习）算法，通过学习一种最小化多个元任务上元损失的初始化，以实现快速适应。
• 采用带有注意力机制的序列到序列模型进行 NLG，模型通过元优化端到端训练，以提升对未见低资源领域的泛化能力。
• 基于不同领域（如景点、酒店、预订、火车）定义元任务，并使用共享编码器-解码器架构结合领域特定适应机制。
• 应用基于梯度的元优化：在新领域的小支持集上执行快速适应步骤，通过最小化查询集上的验证损失来更新基础模型参数。
• 确保方法具有模型无关性，可与任何支持基于梯度优化的可微 NLG 模型架构集成。

实验结果

研究问题

• RQ1 元学习是否能在每个新领域仅有少量标注样本的低资源设置下，显著提升 NLG 模型的性能？
• RQ2 在低资源 NLG 任务中，Meta-NLG 与标准微调和多任务学习相比，在适应速度和最终性能方面表现如何？
• RQ3 与标准训练方法相比，元学习得到的初始化是否能实现更快收敛并更好地泛化到未见领域？
• RQ4 在低资源适应过程中，Meta-NLG 在罕见或领域特定话语中是否能较好地保持槽位和对话行为的准确性？

主要发现

• Meta-NLG 的错误率（ERR）显著低于 MTL-NLG 和标准微调，BLEU-4 分数更高，且在仅 10 个微调周期内即达到最佳 BLEU-4 和 ERR 表现。
• 在人工评估中，Meta-NLG 在所有领域中的信息量（2.85 vs. 2.60）和自然度（2.91 vs. 2.85）平均得分更高，且偏好度具有统计学显著性（p < 0.0005）。
• 在成对比较中，Meta-NLG 获得 47.7% 的偏好度，仅 9.4% 的情况下输给 MTL-NLG，表明人类对其输出有强烈偏好。
• 案例研究显示，Meta-NLG 能成功生成 MTL-NLG 频繁失败的罕见和领域特定槽位（如 'Id'、'Dest'、'Offer_Booked'）。
• 该模型适应更快更好：Meta-NLG 的 ERR 下降速度更快，收敛值更低，表明其优化动态更优。
• Meta-NLG 在多样化领域（景点、酒店、预订、火车）中泛化良好，证明其在极小数据下的低资源设置中具备强鲁棒性。