[论文解读] Fuzzy Logic Interpretation of Artificial Neural Networks.

Fenglei Fan, Ge Wang|arXiv (Cornell University)|Jul 4, 2018

Neural Networks and Applications被引用 4

一句话总结

本文通过利用替代传统内积的二次函数的二阶神经元，提出了一种人工神经网络的模糊逻辑解释方法，实现了XOR等模糊逻辑运算的直接实现。主要贡献在于系统性地分类了可实现的模糊运算，并通过统计分析表明，深度二次网络可被解释为深度模糊逻辑系统，从而增强了深度学习模型的可解释性。

ABSTRACT

Over past several years, deep learning has achieved huge successes in various applications. However, such a data-driven approach is often criticized for lack of interpretability. Recently, we proposed artificial quadratic neural networks consisting of second-order neurons in potentially many layers. In each second-order neuron, a quadratic function is used in the place of the inner product in a traditional neuron, and then undergoes a nonlinear activation. With a single second-order neuron, any fuzzy logic operation, such as XOR, can be implemented. In this sense, any deep network constructed with quadratic neurons can be interpreted as a deep fuzzy logic system. Since traditional neural networks and second-order counterparts can represent each other and fuzzy logic operations are naturally implemented in second-order neural networks, it is plausible to explain how a deep neural network works with a second-order network as the system model. In this paper, we generalize and categorize fuzzy logic operations implementable with individual second-order neurons, and then perform statistical/information theoretic analyses of exemplary quadratic neural networks.

研究动机与目标

• 通过提供人工神经网络的模糊逻辑解释，解决深度学习模型可解释性不足的问题。
• 证明二阶神经元能够自然实现XOR等核心模糊逻辑运算，而传统神经元无法实现。
• 对使用单个二阶神经元可实现的模糊逻辑运算进行泛化和分类。
• 对示例性二次神经网络进行统计和信息论分析，以验证其可解释性及与模糊逻辑系统的功能等价性。

提出的方法

• 用二次函数替代传统神经元中的线性内积，形成二阶神经元，实现非线性决策边界。
• 在二次计算后应用非线性激活函数，形成完全可微的二阶神经元单元。
• 通过调节二次系数，使用单个二阶神经元实现基本模糊逻辑运算（如XOR）。
• 利用这些二阶神经元构建深度网络，以建模复杂的模糊逻辑系统。
• 对训练后的二次网络进行统计和信息论分析，以评估其行为和可解释性。
• 通过数学和实证验证，建立深度二次网络与深度模糊逻辑系统之间的正式对应关系。

实验结果

研究问题

• RQ1 单个二阶神经元可实现哪些模糊逻辑运算，以及如何对其进行系统性分类？
• RQ2 二阶神经元如何实现XOR等非线性、非单调逻辑运算，而这些运算无法由标准线性神经元表示？
• RQ3 由二阶神经元构成的深度神经网络在多大程度上可被解释为深度模糊逻辑系统？
• RQ4 在二次神经网络中涌现出哪些统计和信息论特性，支持其被解释为模糊逻辑系统？
• RQ5 通过基于模糊逻辑的二阶神经网络框架建模，能否增强深度学习模型的可解释性？

主要发现

• 通过适当配置其二次函数，单个二阶神经元可实现任意模糊逻辑运算，包括非线性和非单调运算（如XOR）。
• 二阶神经元在人工神经网络与模糊逻辑系统之间提供了自然桥梁，使深度网络可被正式解释为模糊逻辑系统。
• 所提出的二次网络架构允许传统深度神经网络与二阶网络之间的相互表示，同时保持功能等价性。
• 对示例性二次网络的统计和信息论分析，证实其能够建模与模糊逻辑原则一致的复杂逻辑关系。
• 该框架提供了一种基于模糊逻辑的深度学习模型可解释性原则化方法，在不损失表征能力的前提下增强了透明度。