[论文解读] Dendrite Net: A White-Box Module for Classification, Regression, and System Identification

Gang Liu, Jing Wang|arXiv (Cornell University)|Apr 8, 2020

Neural Networks and Applications参考文献 27被引用 15

一句话总结

Dendrite Net (DD) 是一种受生物树突计算启发的白盒机器学习模块，专为分类、回归和系统辨识而设计。它使用可解释的逻辑表达式（与/或/非）来建模输入-输出关系，在泛化能力、推理速度方面优于基于MLP的模型，在多个基准测试中均表现出更高的准确率、更强的鲁棒性以及更高的计算效率。

ABSTRACT

The simulation of biological dendrite computations is vital for the development of artificial intelligence (AI). This paper presents a basic machine learning algorithm, named Dendrite Net or DD, just like Support Vector Machine (SVM) or Multilayer Perceptron (MLP). DD's main concept is that the algorithm can recognize this class after learning, if the output's logical expression contains the corresponding class's logical relationship among inputs (and$\backslash$or$\backslash$not). Experiments and main results: DD, a white-box machine learning algorithm, showed excellent system identification performance for the black-box system. Secondly, it was verified by nine real-world applications that DD brought better generalization capability relative to MLP architecture that imitated neurons' cell body (Cell body Net) for regression. Thirdly, by MNIST and FASHION-MNIST datasets, it was verified that DD showed higher testing accuracy under greater training loss than Cell body Net for classification. The number of modules can effectively adjust DD's logical expression capacity, which avoids over-fitting and makes it easy to get a model with outstanding generalization capability. Finally, repeated experiments in MATLAB and PyTorch (Python) demonstrated that DD was faster than Cell body Net both in epoch and forward-propagation. The main contribution of this paper is the basic machine learning algorithm (DD) with a white-box attribute, controllable precision for better generalization capability, and lower computational complexity. Not only can DD be used for generalized engineering, but DD has vast development potential as a module for deep learning. DD code is available at GitHub: https://github.com/liugang1234567/Gang-neuron .

研究动机与目标

• 开发一种受生物树突功能启发的新式可解释机器学习模块，以提升模型的透明度。
• 通过引入具有可控逻辑表达能力的白盒架构，解决黑盒深度学习模型的局限性。
• 与标准MLP架构相比，提升回归和分类任务中的泛化性能。
• 通过可解释的逻辑建模，实现对黑盒动态系统的高效系统辨识。
• 在保持或提升模型准确率的同时，降低计算复杂度，适用于多样化的学习任务。

提出的方法

• DD 使用由输入特征上的与、或、非操作组成的逻辑表达式结构来建模输入-输出关系。
• 网络架构设计旨在模拟生物神经元中的树突计算，其中每个模块代表一个逻辑表达式组件。
• 通过逻辑模块的数量控制模型容量，可在不发生过拟合的情况下可扩展地表达复杂关系。
• 训练过程通过优化逻辑表达式的参数以最小化损失，同时注重可解释性与泛化能力。
• 该方法支持在PyTorch和MATLAB中端到端训练，便于实际部署与基准测试。
• 由于显式逻辑结构的存在，前向传播计算效率高，显著降低了计算开销。

实验结果

研究问题

• RQ1 基于树突逻辑表达式的白盒机器学习模型是否能在回归任务的泛化性能上超越标准MLP？
• RQ2 在高训练损失条件下，使用可解释的逻辑表达式是否能提升分类准确率？
• RQ3 DD是否能通过系统辨识有效识别未知的黑盒动态系统？
• RQ4 DD中逻辑模块的数量如何影响其模型容量与泛化性能？
• RQ5 在训练与推理过程中，DD相较于传统基于MLP的模型在计算效率方面表现如何？

主要发现

• 在MNIST和Fashion-MNIST数据集上，DD在更高训练损失条件下仍实现了比Cell Body Net（基于MLP的模型）更高的测试准确率。
• 在九个真实世界的回归应用中，DD展现出优于基于MLP架构的更强泛化能力。
• DD在黑盒动态系统的系统辨识任务中表现出色，证实其在建模复杂输入-输出关系方面的实用性。
• 由于其高效的逻辑计算结构，DD在训练轮次和前向传播阶段均快于Cell Body Net。
• DD中模块数量有效控制了逻辑表达的容量，实现了无过拟合的稳健泛化。
• DD的白盒特性使得学习到的决策规则可被精确解释，提供了标准深度学习模型所不具备的透明度。