[论文解读] Logic Mining Using Neural Networks

Saratha Sathasivam, Wan Ahmad Tajuddin Wan Abdullah|ArXiv.org|Apr 25, 2008

Neural Networks and Applications参考文献 5被引用 4

一句话总结

本文提出了一种新颖的逆向分析方法，利用霍普菲尔德神经网络从大型数据库中提取逻辑规则，克服了神经网络在数据挖掘中黑箱性质的问题。通过分析训练后的网络权重，该方法推导出可解释的逻辑程序，表明神经网络可作为逻辑挖掘的有效工具，能量最小化使从数据中提取规则成为可能。

ABSTRACT

Knowledge could be gained from experts, specialists in the area of interest, or it can be gained by induction from sets of data. Automatic induction of knowledge from data sets, usually stored in large databases, is called data mining. Data mining methods are important in the management of complex systems. There are many technologies available to data mining practitioners, including Artificial Neural Networks, Regression, and Decision Trees. Neural networks have been successfully applied in wide range of supervised and unsupervised learning applications. Neural network methods are not commonly used for data mining tasks, because they often produce incomprehensible models, and require long training times. One way in which the collective properties of a neural network may be used to implement a computational task is by way of the concept of energy minimization. The Hopfield network is well-known example of such an approach. The Hopfield network is useful as content addressable memory or an analog computer for solving combinatorial-type optimization problems. Wan Abdullah [1] proposed a method of doing logic programming on a Hopfield neural network. Optimization of logical inconsistency is carried out by the network after the connection strengths are defined from the logic program; the network relaxes to neural states corresponding to a valid interpretation. In this article, we describe how Hopfield network is able to induce logical rules from large database by using reverse analysis method: given the values of the connections of a network, we can hope to know what logical rules are entrenched in the database.

研究动机与目标

• 为解决基于神经网络的数据挖掘中可解释性不足的问题，从训练好的网络中提取逻辑规则。
• 开发一种逆向神经网络训练过程的方法，从学习到的连接权重中推断逻辑程序。
• 证明霍普菲尔德网络可作为数据驱动学习与符号逻辑表示之间的桥梁。
• 在保持可解释性的前提下，利用神经网络从大型数据库中实现知识提取。
• 验证在霍普菲尔德网络中使用能量最小化进行逻辑规则归纳的可行性。

提出的方法

• 该方法采用逆向分析方法：给定训练好的霍普菲尔德网络的连接权重，从网络结构中推导出逻辑规则。
• 通过最小化霍普菲尔德网络的能量函数，使其达到对应于逻辑程序有效解释的稳定状态。
• 通过分析网络在数据库实例上训练后突触权重的强度与配置，推导出逻辑规则。
• 使用逻辑程序作为输入训练网络，连接权重从逻辑子句中编码生成。
• 系统利用霍普菲尔德网络作为求解组合优化问题的模拟计算机的能力。
• 通过将学习到的权重矩阵解释为逻辑蕴含关系的表示，实现从权重到逻辑规则的逆向映射。

实验结果

研究问题

• RQ1 霍普菲尔德神经网络能否用于从训练好的模型中提取可解释的逻辑规则？
• RQ2 如何以系统化的方式将训练好的霍普菲尔德网络的权重映射回逻辑规则？
• RQ3 在多大程度上可以对基于数据训练的神经网络进行逆向工程，以揭示符号化的逻辑表示？
• RQ4 霍普菲尔德网络中的能量最小化能否促进从数据中发现一致的逻辑解释？
• RQ5 是否可行将神经网络不仅用于预测，还用于以符号形式提取知识？

主要发现

• 逆向分析方法成功地将训练好的霍普菲尔德网络权重映射为可解释的逻辑规则，实现了从数据中提取知识。
• 该方法表明，基于逻辑程序训练的神经网络可以被逆向推导，以恢复原始的逻辑子句。
• 霍普菲尔德网络中的能量最小化确保收敛至对应于有效逻辑解释的稳定状态。
• 该方法通过将黑箱模型转化为符号逻辑，为基于神经网络的数据挖掘中的可解释性问题提供了可行解决方案。
• 通过在逻辑编程任务上的应用验证了该技术，结果表明学习到的权重编码了有意义的逻辑关系。
• 结果证实，霍普菲尔德网络可作为学习与符号规则提取的计算基础。