[论文解读] Deep Differentiable Logic Gate Networks

Felix Petersen, Christian Borgelt+2 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出可微分逻辑门网络，一种新颖架构，通过使用实值逻辑和Softmax参数化连续松弛逻辑运算，实现对稀疏二值逻辑门网络的基于梯度的训练。所得模型在单个CPU核心上实现每秒超过一百万张MNIST图像的推理速度，相比最先进神经网络在速度上提升2–3个数量级，同时保持高准确率。

ABSTRACT

Recently, research has increasingly focused on developing efficient neural network architectures. In this work, we explore logic gate networks for machine learning tasks by learning combinations of logic gates. These networks comprise logic gates such as "AND" and "XOR", which allow for very fast execution. The difficulty in learning logic gate networks is that they are conventionally non-differentiable and therefore do not allow training with gradient descent. Thus, to allow for effective training, we propose differentiable logic gate networks, an architecture that combines real-valued logics and a continuously parameterized relaxation of the network. The resulting discretized logic gate networks achieve fast inference speeds, e.g., beyond a million images of MNIST per second on a single CPU core.

研究动机与目标

• 使逻辑门网络能够通过梯度反向传播进行训练，因为传统逻辑门网络是非可微的，因此与标准反向传播不兼容。
• 开发一种结合实值逻辑与连续松弛的方法，以实现对每个神经元逻辑门选择的有效优化。
• 实现远超标准神经网络的推理速度，尤其通过利用逻辑门的内在稀疏性和二值性。
• 探索为每个神经元学习最优逻辑门（如AND、XOR、NAND）是否能带来高效且准确的模型。
• 证明逻辑门网络可在推理阶段实现极低计算成本的同时保持竞争性准确率。

提出的方法

• 网络中每个神经元通过4位门标识符的Softmax学习，连续参数化为16种可能的二值布尔函数的概率分布。
• 网络使用实值逻辑对离散逻辑运算进行松弛，从而在训练过程中实现通过逻辑门选择的反向传播。
• 在推理阶段，每个神经元选择学习概率最高的逻辑门，从而形成一个硬性、离散的逻辑门网络。
• 该架构采用固定、伪随机的神经元间连接，仅学习每个神经元的逻辑门选择。
• 模型使用标准反向传播进行训练，其中使用T-范数和T-余范等布尔运算的可微分近似。
• 通过在多个输出神经元上进行位计数获得类别预测，将最终的逻辑输出聚合为类别得分。

实验结果

研究问题

• RQ1 通过引入离散逻辑运算的连续松弛，能否有效使用梯度下降训练逻辑门网络？
• RQ2 与标准神经网络相比，可微分逻辑门网络在推理速度和准确率方面的表现如何？
• RQ3 在训练过程中，哪些逻辑门（如AND、XOR、NAND）被最频繁选择，这揭示了什么关于学习表征的信息？
• RQ4 逻辑门网络能否在极少数参数下实现高准确率，同时保持极端的推理效率？
• RQ5 与密集或稀疏神经网络相比，该架构的稀疏性和二值性在计算效率方面起到了多大程度的贡献？

主要发现

• 所提出的可微分逻辑门网络在单个CPU核心上实现每秒超过一百万张MNIST图像的推理速度，相比最先进模型提升2–3个数量级。
• 在MNIST数据集上，该方法实现超过97.5%的准确率，单个CPU线程下每张图像的推理时间低于1微秒。
• 在CIFAR-10上，最大模型（512万参数）达到62.14%的准确率，CPU上每张图像的推理时间为73微秒，显著快于可比基线。
• 学习到的逻辑门分布显示，XOR和XNOR门在最终层最常被使用，表明其在建模条件依赖关系中的作用。
• 第一层偏好基本门如AND、OR、NAND和NOR，而后续层则越来越多地使用恒等和非操作（A、B、¬A、¬B），表明具有残差式行为。
• 该方法在推理速度上甚至超过最快的二值和稀疏神经网络，尤其在基于CPU的推理中优势最为显著。