[论文解读] Analyzing the Forgetting Problem in the Pretrain-Finetuning of Dialogue Response Models

Tianxing He, Jun Liu+5 more|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 39被引用 12

一句话总结

本文指出，在预训练-微调范式中，标准微调会导致对话回复模型遗忘在大规模预训练过程中获得的关键语言生成技能，例如知识检索和上下文敏感性。为缓解此问题，作者提出一种名为“混合回顾”（mix-review）的微调方法，通过交错使用预训练数据和目标任务数据，显著减少遗忘现象，使模型能够生成更具信息量、上下文感知性以及知识丰富性的回复。

ABSTRACT

In this work, we study how the finetuning stage in the pretrain-finetune framework changes the behavior of a pretrained neural language generator. We focus on the transformer encoder-decoder model for the open-domain dialogue response generation task. Our major finding is that after standard finetuning, the model forgets some of the important language generation skills acquired during large-scale pretraining. We demonstrate the forgetting phenomenon through a set of detailed behavior analysis from the perspectives of knowledge transfer, context sensitivity, and function space projection. As a preliminary attempt to alleviate the forgetting problem, we propose an intuitive finetuning strategy named "mix-review". We find that mix-review effectively regularizes the finetuning process, and the forgetting problem is alleviated to some extent. Finally, we discuss interesting behavior of the resulting dialogue model and its implications.

研究动机与目标

• 探究在预训练-微调框架中，标准微调是否会导致大型语言模型遗忘在预训练阶段习得的重要语言生成技能。
• 分析微调如何影响模型在知识迁移、上下文敏感性以及函数空间投影方面的行为。
• 评估标准微调后，模型生成信息丰富、知识密集型回复的能力是否下降。
• 提出并评估一种新型微调策略——“混合回顾”（mix-review），以缓解遗忘问题。
• 探讨遗忘对开放域对话系统的影响，包括对恶意提示的脆弱性以及数据驱动个性化潜力。

提出的方法

• 作者使用基于Transformer的编码器-解码器模型，在开放域对话数据集上采用标准交叉熵损失与负对数似然优化进行微调。
• 从三个维度开展行为分析：知识迁移（例如回答常识性问题）、上下文敏感性（在不同对话轮次中响应的变化）以及函数空间投影（输入表征如何映射到输出空间）。
• 混合回顾策略在微调过程中以固定比例交替使用预训练数据与目标对话数据，以正则化优化过程。
• 解码时采用top-k采样（k=30），以提升回复多样性，而非使用束搜索（beam search）。
• 通过标准指标和生成回复的定性分析（包括从10个样本中挑选的示例）评估性能。
• 模型在DailyDialog数据集上进行微调，并在对话数据和预训练数据上测试其表现，以检测性能下降。

实验结果

研究问题

• RQ1 在预训练-微调框架中，标准微调是否会导致语言生成技能的灾难性遗忘？
• RQ2 微调后，模型从预训练中迁移知识的能力下降到何种程度？
• RQ3 微调后，模型对对话上下文的敏感性如何变化？这是否影响回复质量或安全性？
• RQ4 在微调过程中交错使用预训练数据与对话数据，能否减少遗忘并保留有用的生成行为？
• RQ5 遗忘对构建知识丰富、安全且可个性化对话代理有何影响？

主要发现

• 标准微调后，模型在预训练数据上的表现出现显著下降，表明其遗忘了诸如回答常识性问题和检索事实知识等技能。
• 微调后的模型无法再对‘PhD’、‘news’等知识性术语生成详细或信息丰富的回复，体现出知识迁移能力的丧失。
• 混合回顾微调策略有效减少了遗忘，表现为在预训练数据上性能提升，同时更好地保留了上下文敏感性和知识检索能力。
• 采用混合回顾训练的模型生成了更多样化、上下文相关且信息丰富的回复，包括提供建议和表达观点，即使目标数据集本身并非知识密集型。
• 经过混合回顾训练的模型表现出更强的对话上下文敏感性，能够在未包含此类内容的目标数据集中，实现关于新闻或个人建议等话题的多轮交互。
• 尽管有所改进，混合回顾方法在许多情况下仍会产生平淡或缺乏信息的生成结果，表明仍有进一步优化空间。