[论文解读] A Semantic Loss Function for Deep Learning with Symbolic Knowledge

Jingyi Xu, Zilu Zhang+3 more|arXiv (Cornell University)|Nov 29, 2017

Topic Modeling参考文献 48被引用 70

一句话总结

本文推导出一种语义损失，将神经网络输出与布尔约束联系起来，使得在具有符号知识的情况下实现可微、可靠的推理，并提升半监督学习和结构化输出学习。

ABSTRACT

This paper develops a novel methodology for using symbolic knowledge in deep learning. From first principles, we derive a semantic loss function that bridges between neural output vectors and logical constraints. This loss function captures how close the neural network is to satisfying the constraints on its output. An experimental evaluation shows that it effectively guides the learner to achieve (near-)state-of-the-art results on semi-supervised multi-class classification. Moreover, it significantly increases the ability of the neural network to predict structured objects, such as rankings and paths. These discrete concepts are tremendously difficult to learn, and benefit from a tight integration of deep learning and symbolic reasoning methods.

研究动机与目标

• 引入一个原理性的语义损失，用以衡量神经输出满足逻辑约束的程度。
• 使用基于第一性原理导出的可微分损失，将神经预测与符号知识桥接。
• 展示在 MNIST、FASHION 和 CIFAR-10 上的半监督多类别分类中的改进。
• 展示在学习结构化对象（如排序和路径）方面的优点。
• 为复杂约束下的语义损失提供可行的计算策略。

提出的方法

• 从变量 X 上的命题逻辑约束 α 与预测概率 p 定义语义损失 Ls(α, p)。
• 在一组公理（单调性、恒等性、满意性、标签–文字对应、可微性）下证明 Ls 的唯一性。
• 证明 Ls 在简单约束（如仅一个为真）下化简为封闭形式，并对复杂约束使用基于电路的加权模型计数。
• 将语义损失整合到标准损失中，形式为 existing_loss + w * Ls，以实现半监督学习。
• 通过布尔电路编译和算术电路演示可控的梯度评估。
• 应用于复杂输出空间（路径、排序），以编码有效结构并改进学习结果。

实验结果

研究问题

• RQ1 如何定义一个可微分的损失函数，以在神经输出中保留逻辑约束的语义含义？
• RQ2 将语义损失引入是否会在如 MNIST、FASHION 和 CIFAR-10 等标准基准上提升半监督学习？
• RQ3 语义损失是否能帮助网络更准确地学习和预测结构化输出（排序、路径）？
• RQ4 如何高效地计算语义损失以应对复杂约束？

主要发现

• 语义损失在 MNIST、FASHION 和 CIFAR-10 上取得接近最先进的半监督性能。
• 在标签有限（如 100 个）的情况下，语义损失相对于纯监督基线和基于熵的正则化提供了实质性提升。
• 在 MNIST 上，加入语义损失的模型接近 ladder nets，差距很小，归因于架构/超参数差异。
• 在 FASHION 和 CIFAR-10 上，语义损失优于强基线，在若干情境中与 ladder nets 相当甚至优于它们。
• 对于复杂的结构化约束（路径、排序），语义损失显著提高一致性（有效）预测以及满足约束的能力，超越单标签准确度的提升。
• 该方法对简单约束保持计算高效，并且可以利用基于电路的方法在复杂约束上实现可控的推断和梯度计算。