[论文解读] NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints

Ximing Lu, Peter West+4 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 29被引用 11

一句话总结

NeuroLogic 解码是一种新颖的推理时算法，可在不修改模型权重或进行训练的情况下，使神经语言模型在严格满足以谓词逻辑表达的复杂词汇约束的同时生成流畅文本。该方法在四个不同的文本生成任务——常识推理、食谱生成、对话回复生成以及翻译中的性别偏见减少——中均取得了最先进性能，通常优于使用常规解码方法的监督模型，即使在使用更小的无监督模型时也是如此。

ABSTRACT

Conditional text generation often requires lexical constraints, i.e., which words should or shouldn't be included in the output text. While the dominant recipe for conditional text generation has been large-scale pretrained language models that are finetuned on the task-specific training data, such models do not learn to follow the underlying constraints reliably, even when supervised with large amounts of task-specific examples. We propose NeuroLogic Decoding, a simple yet effective algorithm that enables neural language models -- supervised or not -- to generate fluent text while satisfying complex lexical constraints. Our approach is powerful yet efficient. It handles any set of lexical constraints that is expressible under predicate logic, while its asymptotic runtime is equivalent to conventional beam search. Empirical results on four benchmarks show that NeuroLogic Decoding outperforms previous approaches, including algorithms that handle a subset of our constraints. Moreover, we find that unsupervised models with NeuroLogic Decoding often outperform supervised models with conventional decoding, even when the latter is based on considerably larger networks. Our results suggest the limit of large-scale neural networks for fine-grained controllable generation and the promise of inference-time algorithms.

研究动机与目标

• 解决微调后的大型语言模型在文本生成中持续无法可靠满足词汇约束的问题。
• 开发一种通用、高效且即插即用的解码方法，在推理时强制执行复杂的逻辑约束。
• 证明推理时控制可超越大规模微调的性能表现，尤其是在零样本或低数据设置下。
• 减少对数据集特定模式的依赖，并提升在食谱生成和性别偏见缓解等约束生成任务中的鲁棒性。

提出的方法

• 该方法将约束表示为合取范式（CNF）中的谓词逻辑公式，表达对特定词语或短语的包含（正向）和排除（负向）要求。
• 将硬性逻辑约束转化为可微分的软惩罚项，嵌入到束搜索解码目标中，从而在约束下实现高效优化。
• 该算法在整个解码过程中维护约束状态，以支持计算复用并避免冗余检查，同时保持束搜索的渐近时间复杂度。
• 通过逻辑连接词支持正向与负向约束的任意组合，允许表达复杂需求，如同义词或词形变化等价（例如，“beef”或“steak”均可满足“meat”要求）。
• 该方法与模型无关，无需模型微调或架构修改，适用于监督和无监督预训练语言模型。

实验结果

研究问题

• RQ1 仅通过解码的方法是否能在约束文本生成中超越微调模型，尤其是在后者显著更大的情况下？
• RQ2 无监督模型在使用 NeuroLogic 解码时，能在多大程度上匹配或超越使用标准解码的监督模型的性能？
• RQ3 在推理时强制执行逻辑约束是否能减少对数据集特定模式的依赖并提升泛化能力？
• RQ4 NeuroLogic 解码能否通过在输出序列中强制执行正确的性别词形变化，有效减少机器翻译中的性别偏见？

主要发现

• NeuroLogic 解码在所有四个评估基准上均取得了新的 SOTA 结果，包括在零样本设置下超越了监督基线模型。
• 在食谱生成任务中，该方法显著提升了约束满足度，即使使用大型微调 GPT-2 模型也优于标准束搜索。
• 在翻译中的性别偏见减少任务中，当使用真实性别标记时，NeuroLogic 解码将准确率从 53.0% 提升至 89.9%（英法翻译），从 60.5% 提升至 95.0%（英德翻译）。
• 在法语翻译中，该方法将刻板印象与非刻板印象性别角色之间的性能差距 ΔS 最多减少了 8.9 个百分点，表明模型偏见得到降低。
• 使用 NeuroLogic 解码的无监督模型在性能上超越了使用标准解码的更大规模微调模型，表明推理时控制可突破微调规模的性能极限。