[论文解读] Controlling Conditional Language Models without Catastrophic Forgetting

Tomasz Korbak, Hady Elsahar+2 more|arXiv (Cornell University)|Dec 1, 2021

Topic Modeling被引用 6

一句话总结

本文提出条件分布策略梯度（CDPG），作为分布策略梯度（DPG）的扩展，可实现对条件语言模型的微调，以满足特定控制目标（如摘要生成中的事实一致性或代码生成中的PEP8合规性），同时避免灾难性遗忘。CDPG利用条件能量模型（EBM）引导微调过程，提升与控制标准的一致性，同时保持原始模型在机器翻译、摘要生成和代码生成等任务中的通用能力。

ABSTRACT

Machine learning is shifting towards general-purpose pretrained generative models, trained in a self-supervised manner on large amounts of data, which can then be applied to solve a large number of tasks. However, due to their generic training methodology, these models often fail to meet some of the downstream requirements (e.g., hallucinations in abstractive summarization or style violations in code generation). This raises the important question of how to adapt pre-trained generative models to meet all requirements without destroying their general capabilities ("catastrophic forgetting"). Recent work has proposed to solve this problem by representing task-specific requirements through energy-based models (EBMs) and approximating these EBMs using distributional policy gradients (DPG). Despite its effectiveness, this approach is however limited to unconditional distributions. In this paper, we extend DPG to conditional tasks by proposing Conditional DPG (CDPG). We evaluate CDPG on four different control objectives across three tasks (translation, summarization and code generation) and two pretrained models (T5 and GPT-Neo). Our results show that fine-tuning using CDPG robustly moves these pretrained models closer towards meeting control objectives and -- in contrast with baseline approaches -- does not result in catastrophic forgetting.

研究动机与目标

• 解决在不损失通用能力的前提下，对条件语言模型进行微调以满足特定控制目标的挑战。
• 将原本仅适用于无条件生成的分布策略梯度（DPG）扩展至需要上下文依赖控制的条件设置。
• 通过使用保持原始模型分布特性的条件能量模型（EBM），缓解微调过程中的灾难性遗忘。
• 在两个预训练模型（T5 和 GPT-Neo）上，于翻译、摘要生成和代码生成等多样化任务中评估 CDPG。
• 证明 CDPG 在保持或提升生成质量与多样性的同时，增强对控制目标的遵循程度。

提出的方法

• CDPG 通过使用条件能量模型（EBM）对控制目标进行建模，将每个上下文 c 定义为一个独立的非归一化分布 P_c，从而扩展 DPG。
• 该方法最小化模型的条件分布 p_c 与归一化后的 EBM 分布 P_c 之间的平均差异，确保与控制约束的一致性。
• 利用分布策略梯度优化模型参数 θ，基于在条件 EBM 下采样序列的梯度估计进行参数更新。
• 该方法利用奖励信号 b(x,c) 表示生成序列 x 是否满足上下文 c 的控制目标，实现类似强化学习的训练过程，而无需真实标签。
• 在预训练模型（T5 和 GPT-Neo）上进行端到端微调，保留其预训练归纳偏置，同时适应特定任务约束。
• 该方法应用于三种控制目标：数字翻译、摘要生成中的事实一致性，以及代码生成中的 PEP8 合规性。

实验结果

研究问题

• RQ1 能否将分布策略梯度扩展至条件语言模型，实现在不造成灾难性遗忘的前提下进行控制？
• RQ2 CDPG 在摘要生成和代码生成中，对事实一致性或风格合规性等控制目标的强制执行效果如何？
• RQ3 与基线微调方法及强化学习方法相比，CDPG 是否保持或提升了生成质量与多样性？
• RQ4 CDPG 在多大程度上提升了满足控制约束的可能性，例如将数字翻译为阿拉伯数字或生成符合 PEP8 规范的代码？
• RQ5 CDPG 是否能在极少架构修改的前提下，泛化至不同模型（T5、GPT-Neo）和任务（翻译、摘要生成、代码生成）？

主要发现

• 与原始模型相比，CDPG 将满足数字转写为阿拉伯数字约束的生成序列概率提升了 116 倍。
• 在摘要生成任务中，CDPG 微调显著提升了事实一致性，增加了摘要中正确且相关的命名实体数量，并提升了 Rouge 分数。
• 在代码生成任务中，CDPG 显著减少了 PEP8 违规情况，平均将编译成功率从 40% 提升至 80% 以上，充分体现了对风格约束的强遵循能力。
• 与强化学习基线方法不同，CDPG 未降低生成文本的多样性或流畅性，有效保持了模型质量。
• CDPG 在所有任务中均成功微调了 T5 和 GPT-Neo，展现出对不同模型架构的鲁棒性与泛化能力。
• 该方法成功避免了灾难性遗忘，既保持了原始模型的广泛能力，又实现了精准的控制目标。