[论文解读] Continual Learning for Natural Language Generation in Task-oriented Dialog Systems

Fei Mi, Liangwei Chen+3 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 50被引用 4

一句话总结

本文提出 ARPER（自适应正则化优先级样本回放），一种用于任务导向对话系统中自然语言生成（NLG）的持续学习方法，通过结合优先级样本回放与基于弹性权重整合（Elastic Weight Consolidation, EWC）的自适应正则化，缓解灾难性遗忘。ARPER 在 MultiWoZ-2.0 上显著优于现有方法，在六个领域中将槽位错误率降低高达 4.45%，同时保持较小的内存占用。

ABSTRACT

Natural language generation (NLG) is an essential component of task-oriented dialog systems. Despite the recent success of neural approaches for NLG, they are typically developed in an offline manner for particular domains. To better fit real-life applications where new data come in a stream, we study NLG in a "continual learning" setting to expand its knowledge to new domains or functionalities incrementally. The major challenge towards this goal is catastrophic forgetting, meaning that a continually trained model tends to forget the knowledge it has learned before. To this end, we propose a method called ARPER (Adaptively Regularized Prioritized Exemplar Replay) by replaying prioritized historical exemplars, together with an adaptive regularization technique based on ElasticWeight Consolidation. Extensive experiments to continually learn new domains and intents are conducted on MultiWoZ-2.0 to benchmark ARPER with a wide range of techniques. Empirical results demonstrate that ARPER significantly outperforms other methods by effectively mitigating the detrimental catastrophic forgetting issue.

研究动机与目标

• 为解决在真实对话系统中持续学习新领域和意图时，神经网络自然语言生成（NLG）模型出现的灾难性遗忘问题。
• 开发一种可扩展的 NLG 持续学习框架，避免对所有历史数据进行重新训练。
• 在对新数据进行增量训练时，提升对先前学习到的语句模式的知识保留能力。
• 结合样本回放与自适应正则化，以增强知识巩固，同时不增加模型复杂度。
• 在标准基准上，针对多种 NLG 模型架构与持续学习场景，对方法进行全面评估。

提出的方法

• 提出 ARPER 方法，结合基于弹性权重整合（EWC）的自适应正则化与优先级样本回放。
• 采用基于聚类选择（Herding-based）策略，从历史数据中识别多样化且具代表性的样本，以实现高效回放。
• 利用在所选样本上计算的 Fisher 信息矩阵近似值，应用 EWC 正则化，以保护关键参数。
• 引入自适应正则化权重，根据新旧数据之间的分布偏移动态调整。
• 在每个训练阶段回放所选样本，以强化对先前知识的记忆。
• 采用双组件训练策略：通过样本回放实现记忆保留，通过自适应正则化实现参数稳定性。

实验结果

研究问题

• RQ1 基于优先级选择的样本回放是否能有效减少 NLG 在持续学习中的灾难性遗忘？
• RQ2 基于 EWC 的自适应正则化与固定或非自适应正则化相比，在保持对先前学习领域性能方面表现如何？
• RQ3 ARPER 是否能在不同基础 NLG 模型（如 SCLSTM、SCVAE 和 GPT-2）上实现泛化？
• RQ4 在真实的增量学习设置中，ARPER 与最先进持续学习方法相比表现如何？
• RQ5 样本选择策略（优先级选择 vs. 随机选择）对 NLG 长期知识保留有何影响？

主要发现

• 当以 SCLSTM 作为基础模型时，ARPER 在 MultiWoZ-2.0 上实现 4.45% 的槽位错误率，优于次佳方法（ER prio + Dropout）4.04 个百分点。
• 消融实验表明，优先级样本与自适应正则化均不可或缺，移除任一组件均导致性能显著下降。
• 在 GPT-2 上，ARPER 实现 5.32% 的槽位错误率，表明其在不同 NLG 架构上具有泛化能力，即使 GPT-2 本身对遗忘具有内在鲁棒性。
• 案例研究显示，ARPER 能够成功保留旧的槽位模式（如 'Fee' 和 'Type'），同时学习新领域，而基线方法则出现槽位泄漏与重复错误。
• 该方法通过有效平衡记忆回放与参数正则化，显著减少灾难性遗忘，即使仅存储 250 个样本亦可实现。
• ARPER 在所有领域（包括首个领域）均保持优异性能，首个领域的最终错误率为 4.04%，表明初始知识遗忘极少。