[论文解读] Learning Algorithms via Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Apr 2, 2019

Bayesian Modeling and Causal Inference参考文献 18被引用 13

一句话总结

本文提出神经逻辑网络（NLNs），一种可微分的神经网络框架，通过使用可微分的与、或、异或运算符显式学习布尔逻辑函数。与传统MLP隐式学习不同，NLNs提供可解释的符号化表示，在学习复杂算法任务（如十进制乘法、排序和递归谓词）时，仅需极少的训练数据即可超越现有神经ILP求解器。

ABSTRACT

We propose a novel learning paradigm for Deep Neural Networks (DNN) by using Boolean logic algebra. We first present the basic differentiable operators of a Boolean system such as conjunction, disjunction and exclusive-OR and show how these elementary operators can be combined in a simple and meaningful way to form Neural Logic Networks (NLNs). We examine the effectiveness of the proposed NLN framework in learning Boolean functions and discrete-algorithmic tasks. We demonstrate that, in contrast to the implicit learning in MLP approach, the proposed neural logic networks can learn the logical functions explicitly that can be verified and interpreted by human. In particular, we propose a new framework for learning the inductive logic programming (ILP) problems by exploiting the explicit representational power of NLN. We show the proposed neural ILP solver is capable of feats such as predicate invention and recursion and can outperform the current state of the art neural ILP solvers using a variety of benchmark tasks such as decimal addition and multiplication, and sorting on ordered list.

研究动机与目标

• 解决传统MLP在学习离散-算法任务时的局限性，其依赖隐式且不可解释的权重表示。
• 开发一种可微分的神经网络框架，显式表示逻辑函数，支持人工验证与解释。
• 通过基于梯度的优化，实现归纳逻辑编程（ILP）问题的有效学习，包括谓词发明与递归。
• 在少样本学习场景中提升泛化能力，尤其针对如LDPC译码和算术运算等算法任务。

提出的方法

• 提出可微分布尔运算符——合取（乘法）、析取（1 - (1-x)(1-y)）和异或，使用[0,1]区间内的实值输入，以支持基于梯度的学习。
• 通过级联这些运算符构建多层神经逻辑网络（NLNs），形成与标准MLP不同的符号化、可解释的架构。
• 提出一种新颖的可微分XOR公式化方法，使用一组系数符号交替的线性函数，通过零点检测确保XOR函数的精确计算。
• 将NLN框架应用于将ILP问题转化为可微分优化任务，支持端到端的梯度下降训练。
• 采用基于函数的列表语义（如头和尾操作）表示有序数据结构，支持排序等基于列表的任务的递归逻辑学习。
• 实现一种递归ILP求解器，可在无预设模板的情况下学习涉及变量、函数和递归的复杂多原子子句。

实验结果

研究问题

• RQ1 可微分神经网络架构能否学习布尔函数，实现显式、可解释的符号化表示，而非隐式的权重模式？
• RQ2 NLNs在少样本、算法学习任务（如LDPC译码）中的泛化性能与MLPs相比如何？
• RQ3 NLNs能否仅使用正例和负例，在无先验结构模板的情况下学习复杂的ILP任务（如谓词发明与递归）？
• RQ4 NLNs在学习十进制乘法和有序列表排序等任务时，相较于现有神经ILP求解器，性能提升程度如何？

主要发现

• NLNs通过可微分公式化实现布尔函数的精确计算，包括XOR，该公式化方法可保证零点检测，从而获得正确的逻辑输出。
• 所提出的NLN框架在仅使用有限训练样本的情况下，于擦除信道上的LDPC码消息传递译码算法学习中，泛化能力显著优于MLPs。
• NLNs成功学习了递归ILP解法，例如使用6原子子句和4个变量对有序列表进行排序，这一能力超越了当前神经ILP求解器。
• 该模型在学习十进制乘法和加法等复杂任务时表现出高精度，即使在推广到更大输入规模时也表现优异，优于先前的神经ILP方法。
• NLNs学习到的符号化表示可由人工验证，并可直接转换为可执行的逻辑程序，与标准DNN的黑箱特性形成鲜明对比。