[论文解读] Neuro-Symbolic Constraint Programming for Structured Prediction

Paolo Dragone, Stefano Teso+1 more|arXiv (Cornell University)|Mar 31, 2021

Natural Language Processing Techniques参考文献 48被引用 9

一句话总结

Nester 提出了一种神经符号框架，将神经网络与约束规划相结合，用于在复杂逻辑和数值约束下进行结构化预测。通过使用神经网络生成初始原始预测，并利用约束求解器在强制执行硬约束和软约束的同时进行优化，Nester 在低数据设置下实现了卓越性能，通过联合利用表示学习与符号推理，其表现优于单独的神经网络或约束模型，在手写公式识别任务中表现尤为突出。

ABSTRACT

We propose Nester, a method for injecting neural networks into constrained structured predictors. The job of the neural network(s) is to compute an initial, raw prediction that is compatible with the input data but does not necessarily satisfy the constraints. The structured predictor then builds a structure using a constraint solver that assembles and corrects the raw predictions in accordance with hard and soft constraints. In doing so, Nester takes advantage of the features of its two components: the neural network learns complex representations from low-level data while the constraint programming component reasons about the high-level properties of the prediction task. The entire architecture can be trained in an end-to-end fashion. An empirical evaluation on handwritten equation recognition shows that Nester achieves better performance than both the neural network and the constrained structured predictor on their own, especially when training examples are scarce, while scaling to more complex problems than other neuro-programming approaches. Nester proves especially useful to reduce errors at the semantic level of the problem, which is particularly challenging for neural network architectures.Sub

研究动机与目标

• 为解决训练数据稀缺但背景知识丰富的结构化预测任务，其中纯神经网络因缺乏推理能力而无法泛化。
• 整合神经网络的特征学习能力与约束规划在结构化输出上强制执行复杂逻辑和数值约束的能力。
• 开发一个端到端可训练的系统，通过约束满足机制修正神经网络的预测结果，同时保持语义和句法的有效性。
• 克服现有神经符号模型的局限性，这些模型或无法强制执行硬约束，或仅限于逻辑或概率推理。
• 在真实世界任务——手写公式识别中展示该混合方法的有效性，其中语义正确性至关重要。

提出的方法

• 采用两阶段架构：神经网络（如 CNN 或 LSTM）处理原始输入（如图像）以生成初始、无约束的预测结果。
• 将中间预测结果输入到用 MiniZinc 实现的约束规划模块中，该模块对输出结构施加硬约束和软约束。
• 约束程序定义了句法和语义约束，例如有效的公式语法和数学一致性。
• 整个系统通过反向传播实现端到端训练，梯度通过神经网络和约束求解器传播，借助可微松弛技术实现。
• 约束求解器将神经网络的输出修正为最终预测结果，确保满足所有约束，即使原始输出违反了这些约束。
• 该框架支持分类变量和连续变量，能够对结构化输出中的复杂混合约束进行建模。

实验结果

研究问题

• RQ1 结合神经网络与约束规划的神经符号系统是否能在数据稀缺的结构化预测任务中超越纯神经网络？
• RQ2 约束规划在多大程度上可以纠正深度神经网络无法学习的语义错误？
• RQ3 使用可微约束求解器的混合神经符号系统端到端训练的有效性如何？
• RQ4 该框架能否处理结构化输出中涉及逻辑与数值关系的复杂混合约束？
• RQ5 符号推理的集成是否能显著提升低数据量结构化预测任务中的泛化能力？

主要发现

• Nester 在训练数据有限的情况下，优于单独的神经网络和约束结构化预测器。
• 神经网络本身能很好地学习句法模式，但在语义正确性方面表现不佳，而 Nester 通过约束强制成功纠正了语义错误。
• 该系统生成的预测结果在句法上有效且语义上一致，这在手写公式识别任务中得到了验证。
• Nester 可扩展至比其他神经符号方法更复杂的问题，包括包含离散与连续混合约束的问题。
• 端到端训练方案实现了有效的优化，约束求解器在整体流程中充当可微分层。
• 实验表明，约束规划组件显著降低了语义层面的错误，而这些错误对神经网络独立学习而言难以捕捉。