[论文解读] Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning

Lianhui Qin, Vered Shwartz+6 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 52被引用 17

一句话总结

本文提出 DeLorean，一种无监督解码算法，通过交替进行前向和后向传递并基于梯度优化隐藏表示，使自左向右的语言模型能够同时利用过去和未来上下文，实现反事实和反溯推理。该方法在无监督和部分有监督方法中表现更优，在反溯文本生成和反事实故事重写任务中取得了最先进性能，且无需微调或监督。

ABSTRACT

Abductive and counterfactual reasoning, core abilities of everyday human cognition, require reasoning about what might have happened at time t, while conditioning on multiple contexts from the relative past and future. However, simultaneous incorporation of past and future contexts using generative language models (LMs) can be challenging, as they are trained either to condition only on the past context or to perform narrowly scoped text-infilling. In this paper, we propose DeLorean, a new unsupervised decoding algorithm that can flexibly incorporate both the past and future contexts using only off-the-shelf, left-to-right language models and no supervision. The key intuition of our algorithm is incorporating the future through back-propagation, during which, we only update the internal representation of the output while fixing the model parameters. By alternating between forward and backward propagation, DeLorean can decode the output representation that reflects both the left and right contexts. We demonstrate that our approach is general and applicable to two nonmonotonic reasoning tasks: abductive text generation and counterfactual story revision, where DeLorean outperforms a range of unsupervised and some supervised methods, based on automatic and human evaluation.

研究动机与目标

• 解决在非单调推理任务（如反溯和反事实推理）中，对语言模型同时依赖过去和未来上下文的挑战。
• 开发一种无监督解码方法，仅利用现成的自左向右语言模型，无需微调或额外监督。
• 实现同时尊重左文和右文约束的一致性文本生成，尤其在需要因果一致性和最小修改的叙事推理任务中。
• 克服现有方法依赖狭窄文本补全、微调或有监督属性判别器的局限性。

提出的方法

• DeLorean 通过交替进行前向（自左向右）和后向（自右向左）传递，以优化输出序列的隐藏表示。
• 在后向传递中，使用任务特定损失从未来上下文反向传播梯度，仅更新输出表示，而保持模型参数固定。
• 前向传递最大化基于过去上下文的似然性，近似 P(Y|X)，而后向传递则通过强制与未来上下文的一致性，近似 P(Z|XY)。
• 将前向和后向隐藏状态合并为单一上下文向量，用于在解码过程中采样标记。
• 该方法完全运行于预训练语言模型框架内，无需微调或额外训练。
• 其设计具有通用性，适用于任何需要整合左文和右文信息的条件生成任务。

实验结果

研究问题

• RQ1 无监督解码方法是否能有效在不微调的情况下，将过去和未来上下文整合到语言模型生成中？
• RQ2 基于反向传播的优化机制在反溯和反事实推理任务中，能否显著提升生成内容的连贯性？
• RQ3 仅依赖自左向右语言模型的方法，是否能在非单调推理任务中达到与有监督基线相当的性能？
• RQ4 交替进行前向-后向传递的机制，在反事实故事重写任务中，能在多大程度上提升事实一致性与最小修改行为？

主要发现

• 根据自动评估和人工评估，DeLorean 在反溯文本生成和反事实故事重写任务中，均优于多种无监督和部分有监督基线方法。
• 在 TimeTravel 反事实故事重写数据集上，DeLorean 能够以最小修改成功重写故事结尾，例如当反事实条件从 '去了商场' 变为 '在线订购了衬衫' 时，仍能保留 '她期待穿上它' 等连贯元素。
• 在反溯推理中，DeLorean 能生成合理的中间事件（如 '她被秋千撞伤'），有效连接观察到的过去和未来状态，展现出强大的因果推理能力。
• 该方法在无需任何微调或监督的情况下，实现了最先进性能，仅依赖现成的自左向右语言模型。
• 人工评估证实，DeLorean 的输出比强基线无监督方法更连贯、更合理，尤其在反事实条件下保持叙事一致性方面表现更优。