[论文解读] Gradient-Based Constrained Sampling from Language Models

Sachin Kumar, Biswajit Paria+1 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 6

一句话总结

本文提出 MuCoLa，一种用于大语言模型的非自回归采样方法，利用朗之万动力学生成满足多种可微分约束的文本，同时保持流畅性和模型性能。通过将语言模型似然函数与约束条件结合到单一能量函数中，MuCoLa 在毒性规避、情感控制和关键词引导生成任务中均取得当前最优结果，且样本质量与多样性得到提升。

ABSTRACT

Large pretrained language models generate fluent text but are notoriously hard to controllably sample from. In this work, we study constrained sampling from such language models: generating text that satisfies user-defined constraints, while maintaining fluency and the model's performance in a downstream task. We propose MuCoLa -- a sampling procedure that combines the log-likelihood of the language model with arbitrary (differentiable) constraints in a single energy function, and then generates samples in a non-autoregressive manner. Specifically, it initializes the entire output sequence with noise and follows a Markov chain defined by Langevin Dynamics using the gradients of the energy function. We evaluate MuCoLa on text generation with soft and hard constraints as well as their combinations obtaining significant improvements over competitive baselines for toxicity avoidance, sentiment control, and keyword-guided generation.

研究动机与目标

• 为解决在保持流畅性和下游任务性能的前提下控制大语言模型文本生成的挑战。
• 克服自回归解码方法在处理全局上下文和多个竞争约束时的局限性。
• 开发一种在保留底层语言模型分布的同时整合任意可微分约束的采样方法。
• 在统一框架中同时支持软约束（如通过分类器）和硬约束（如关键词的出现/缺失）。
• 在不修改语言模型概率分布的前提下，实现高质量、多样化且可控的文本生成。

提出的方法

• 构建联合能量函数，将语言模型的对数似然与可微分约束函数相结合。
• 使用朗之万动力学迭代更新完整的标记嵌入序列，初始值为随机噪声，以最小化能量函数。
• 在嵌入空间而非词汇空间中进行基于梯度的更新，从而降低内存和计算成本。
• 通过在梯度中引入加性噪声，实现多样化采样，同时保持向低能量解收敛的特性。
• 将约束定义为带阈值的拉格朗日项，实现多约束优化而无需手动调整权重。
• 通过共享嵌入表实现语言模型与约束函数的端到端可微分，从而实现方法的可操作化。

实验结果

研究问题

• RQ1 非自回归采样方法能否有效满足文本生成中多个可能冲突的可微分约束？
• RQ2 将语言模型似然与约束函数统一于单一能量函数中，是否能保持模型的流畅性与任务性能？
• RQ3 与自回归基线方法相比，该方法在约束满足度、流畅性与多样性方面表现如何？
• RQ4 该方法能否同时处理软约束（如毒性评分）与硬约束（如关键词的出现）？
• RQ5 与基于词汇空间的替代方法相比，该方法在可扩展性与内存效率方面表现如何？

主要发现

• MuCoLa 在毒性规避任务中显著优于竞争性基线方法，实现更低的毒性得分，同时保持高流畅性与相关性。
• 在情感控制任务中，该方法表现出色，即使要求包含对立情感词汇，也能成功生成具有目标情感倾向的文本。
• 在关键词引导生成任务中，MuCoLa 生成了多样化且相关的输出，能以高精度包含所需关键词，且几乎无不连贯现象。
• 在机器翻译任务中，通过强制执行命名实体保留的硬约束，MuCoLa 提升了实体保真度，优于标准解码方法。
• 该方法可扩展至长序列（最高达 1000 个标记），相比基于词汇空间的基线方法展现出更优的内存效率，后者在超过 50 个标记时即告失败。
• 人工评估证实，与自回归基线相比，MuCoLa 生成的输出质量更高、多样性更强，且约束满足度相当或更优。