[论文解读] Embedding Symbolic Knowledge into Deep Networks

Yaqi Xie, Ziwei Xu+3 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Graph Neural Networks参考文献 34被引用 4

一句话总结

该论文提出 LENSR，一种图神经网络框架，通过语义正则化和节点异质性感知，将符号逻辑知识（特别是 d-DNNF 和 CNF 形式）嵌入深度神经网络。通过使用增强图卷积网络（GCN）将逻辑公式和赋值投影到流形上，LENSR 实现了高效的蕴含检查，并在视觉关系预测和模型检查任务上取得了最先进性能。

ABSTRACT

In this work, we aim to leverage prior symbolic knowledge to improve the performance of deep models. We propose a graph embedding network that projects propositional formulae (and assignments) onto a manifold via an augmented Graph Convolutional Network (GCN). To generate semantically-faithful embeddings, we develop techniques to recognize node heterogeneity, and semantic regularization that incorporate structural constraints into the embedding. Experiments show that our approach improves the performance of models trained to perform entailment checking and visual relation prediction. Interestingly, we observe a connection between the tractability of the propositional theory representation and the ease of embedding. Future exploration of this connection may elucidate the relationship between knowledge compilation and vector representation learning.

研究动机与目标

• 通过以逻辑公式的形式整合先验符号知识，提升深度神经网络的性能。
• 解决在标注数据稀缺的情况下，将符号知识可扩展且有效地注入神经网络的挑战。
• 探究逻辑表示的可 tractability（如 d-DNNF 与 CNF）是否影响向量嵌入的可学习性。
• 开发一种方法，以保留语义结构，确保嵌入反映逻辑蕴含和可满足性。
• 提供一种实用且可训练的框架，可用于以符号约束正则化深度学习模型。

提出的方法

• 提出一种基于图卷积网络（GCN）的图嵌入网络，将命题公式和赋值表示为流形上的向量。
• 在 GCN 中引入节点异质性感知，以区分逻辑图中的 AND 和 OR 节点，提升结构保真度。
• 应用语义正则化，对 AND 和 OR 节点的子节点嵌入施加软约束，以保留逻辑语义。
• 利用生成的嵌入构建逻辑感知的损失函数，在训练过程中正则化深度神经网络。
• 选择 d-DNNF 和 CNF 作为目标知识表示形式，因其在可 tractability 和大小特性上的对比性。
• 引入“可嵌入性需求”（embeddable-demanding）的概念，以形式化比较不同逻辑范式表示的可学习性。

实验结果

研究问题

• RQ1 能否通过基于图的方法，有效将命题逻辑中表达的符号逻辑知识嵌入深度神经网络？
• RQ2 在基于 GCN 的嵌入中引入语义正则化和节点异质性，是否能提升向量表示与逻辑语义之间的对齐？
• RQ3 选择不同的逻辑范式（d-DNNF 与 CNF）如何影响嵌入表示的性能和可学习性？
• RQ4 逻辑表示的可 tractability 与其向量嵌入学习的适应性之间是否存在可测量的关系？
• RQ5 是否能通过逻辑嵌入的表示提升下游深度学习任务（如视觉关系预测和蕴含检查）的性能？

主要发现

• LENSR 使用 d-DNNF 和语义正则化在视觉关系预测任务上实现了 92.77% 的 top-5 准确率，显著优于基线（84.30%）及其他基线模型（如 treeLSTM 的 85.76%）。
• 采用 d-DNNF 并结合异质节点嵌入与语义正则化的模型达到 92.77% 的 top-5 准确率，证明了结构与语义约束的有效性。
• LENSR 使用 CNF 和语义正则化实现了 85.70% 的 top-5 准确率，虽优于基线，但低于 d-DNNF 的表现。
• 仅通过语义损失直接应用 d-DNNF 仅带来微弱的性能提升（84.76%），表明基于嵌入的正则化比原始逻辑损失更有效。
• 该框架优于最先进基于 treeLSTM 的嵌入器，凸显了基于 GCN 的、结构感知嵌入相较于 RNN 方法的优势。
• 实证结果表明，逻辑形式的可 tractability 与其可嵌入性之间存在强关联，其中 d-DNNF 比 CNF 更适合有效向量表示学习。