[论文解读] LogiGAN: Learning Logical Reasoning via Adversarial Pre-training

Xinyu Pi, Wanjun Zhong+3 more|arXiv (Cornell University)|May 18, 2022

Topic Modeling被引用 7

一句话总结

LogiGAN 提出了一种无监督对抗性预训练框架，通过在上下文中预测被遮蔽的逻辑语句，利用生成器-验证器架构模拟反思性思维，从而提升语言模型的逻辑推理能力。该方法在12项通用推理基准上实现了显著的性能提升，表明逻辑推理能力可被有效增强，超越标准语言建模的范畴。

ABSTRACT

We present LogiGAN, an unsupervised adversarial pre-training framework for improving logical reasoning abilities of language models. Upon automatic identifying logical reasoning phenomena in massive text corpus via detection heuristics, we train language models to predict the masked-out logical statements. Inspired by the facilitation effect of reflective thinking in human learning, we analogically simulate the learning-thinking process with an adversarial Generator-Verifier architecture to assist logic learning. LogiGAN implements a novel sequential GAN approach that (a) circumvents the non-differentiable challenge of the sequential GAN by leveraging the Generator as a sentence-level generative likelihood scorer with a learning objective of reaching scoring consensus with the Verifier; (b) is computationally feasible for large-scale pre-training with arbitrary target length. Both base and large size language models pre-trained with LogiGAN demonstrate obvious performance improvement on 12 datasets requiring general reasoning abilities, revealing the fundamental role of logic in broad reasoning, as well as the effectiveness of LogiGAN. Ablation studies on LogiGAN components reveal the relative orthogonality between linguistic and logic abilities and suggest that reflective thinking's facilitation effect might also generalize to machine learning.

研究动机与目标

• 为解决预训练语言模型（PLMs）尽管具备强大的语言能力，但在逻辑推理能力方面仍存在不足的问题。
• 探究是否可通过无监督预训练系统性地提升逻辑推理能力，超越标准的掩码语言建模。
• 通过引入双生成器与验证器框架，模拟类人反思性思维，实现对逻辑一致性的评分。
• 开发一种可扩展的、计算上可行的序列式 GAN 方法，避免文本生成中非可微训练带来的问题。
• 证明逻辑能力是通用推理的基础组成部分，并可通过自监督方式有效预训练。

提出的方法

• 使用启发式规则自动识别大规模语料中的逻辑推理现象，以检测前提-结论结构。
• 采用掩码语言建模目标，训练语言模型根据上下文预测被遮蔽的逻辑语句（例如结论）。
• 引入一种新颖的序列式 GAN 框架，包含生成器与验证器：生成器生成候选语句并进行评分，验证器则评估其与上下文的逻辑一致性。
• 通过将目标表述为生成器与验证器之间的评分一致性，实现训练稳定性，从而规避离散序列生成的非可微性问题。
• 通过避免先前序列式 GAN 中依赖强化学习策略梯度估计的方法，实现在长目标序列上的大规模预训练。
• 采用双目标训练信号：生成器学习生成验证器判定为逻辑一致的语句，验证器则学习区分正确与错误的逻辑推理。

实验结果

研究问题

• RQ1 是否可通过无监督预训练显著提升预训练语言模型的逻辑推理能力，超越标准掩码语言建模？
• RQ2 通过生成器-验证器对抗性架构模拟反思性思维，是否能提升逻辑推理能力，超越对原始语句的简单预测？
• RQ3 序列式 GAN 中的评分一致性机制是否能有效规避离散文本生成的非可微性挑战，同时保持可扩展性？
• RQ4 与标准预训练相比，LogiGAN 的逻辑推理预训练在下游推理任务中的表现如何，尤其是在多样化任务中的表现？
• RQ5 PLMs 中的语言能力与逻辑能力在多大程度上是正交的？对抗性预训练是否能在不损害语言流畅性的情况下提升逻辑能力？

主要发现

• LogiGAN 预训练在12项多样化的推理基准上均带来一致且显著的性能提升，涵盖自然语言蕴含、机器阅读理解以及多跳推理任务。
• 无论是基础模型还是大尺寸模型，经 LogiGAN 预训练后在通用推理任务上均表现出明显提升，证实逻辑推理是更广泛推理能力中的基础且可改进的组成部分。
• 消融研究显示，PLMs 中的语言能力与逻辑能力相对正交，表明逻辑推理并非通过标准预训练自动获得。
• 生成器-验证器评分一致性机制有效实现了稳定、可扩展的序列式 GAN 训练，无需依赖强化学习或蒙特卡洛采样。
• 对抗性预训练框架展现出类似人类反思性思维的促进效应，提升了模型的泛化能力与逻辑一致性，超越简单预测。
• 该方法在长目标序列的大规模预训练中计算上是可行的，优于依赖策略梯度估计且对序列长度敏感的先前序列式 GAN。