[论文解读] Extraction of Symbolic Rules from Artificial Neural Networks

S. M. Kamruzzaman, Md. Monirul Islam|arXiv (Cornell University)|Sep 23, 2010

Data Mining Algorithms and Applications参考文献 17被引用 4

一句话总结

本文提出REANN，一种四阶段反向传播训练算法，可从训练好的三层前馈人工神经网络中提取符号规则。该方法生成的可解释、显式的规则与决策树输出相当，在乳腺癌、鸢尾花、糖尿病和季节分类等基准数据集上表现出强大的预测准确性和泛化能力。

ABSTRACT

Although backpropagation ANNs generally predict better than decision trees do for pattern classification problems, they are often regarded as black boxes, i.e., their predictions cannot be explained as those of decision trees. In many applications, it is desirable to extract knowledge from trained ANNs for the users to gain a better understanding of how the networks solve the problems. A new rule extraction algorithm, called rule extraction from artificial neural networks (REANN) is proposed and implemented to extract symbolic rules from ANNs. A standard three-layer feedforward ANN is the basis of the algorithm. A four-phase training algorithm is proposed for backpropagation learning. Explicitness of the extracted rules is supported by comparing them to the symbolic rules generated by other methods. Extracted rules are comparable with other methods in terms of number of rules, average number of conditions for a rule, and predictive accuracy. Extensive experimental studies on several benchmarks classification problems, such as breast cancer, iris, diabetes, and season classification problems, demonstrate the effectiveness of the proposed approach with good generalization ability.

研究动机与目标

• 通过提取可解释的符号规则，解决反向传播神经网络的黑箱问题。
• 克服ANN预测缺乏透明性的问题，从而增强用户在实际应用中的信任与理解。
• 开发一种在保持高预测准确性的同时提升可解释性的规则提取方法。
• 确保提取的规则是显式的，并与传统符号方法（如决策树）生成的规则相当。
• 在多种基准分类问题上证明该方法的有效性，并展示其强大的泛化能力。

提出的方法

• 提出一种四阶段反向传播训练算法，以优化三层前馈ANN的规则提取性能。
• 采用结构化、多阶段的学习过程训练网络，以增强稳定性和收敛性。
• 通过分析神经元激活模式和权重分布，从训练好的网络中提取符号规则。
• 将网络的决策边界转化为人类可读的if-then规则，包含明确的条件和结果。
• 通过与其它符号方法在规则数量和条件复杂度方面的比较，确保规则的显式性。
• 使用标准基准数据集（如乳腺癌、鸢尾花、糖尿病）验证规则提取过程及其性能。

实验结果

研究问题

• RQ1 能否从训练好的反向传播神经网络中有效提取符号规则以提升可解释性？
• RQ2 所提取规则的预测准确性与其它规则提取方法和符号学习方法相比如何？
• RQ3 REANN方法在多种分类问题上的泛化能力如何？
• RQ4 所提取的规则是否与传统决策树方法生成的规则一样显式且可解释？
• RQ5 四阶段训练算法是否提升了规则提取过程的质量与稳定性？

主要发现

• REANN方法能从训练好的三层前馈ANN中成功提取出具有高度可解释性的符号规则。
• 所提取的规则保持了与其它规则提取方法和符号学习方法相当的预测准确性。
• 该方法在乳腺癌、鸢尾花、糖尿病和季节分类等基准数据集上表现出强大的泛化能力。
• 所提取规则的数量以及每条规则的平均条件数，与其它符号规则生成技术相当。
• 四阶段训练算法显著提升了规则提取过程的稳定性和质量。
• 该方法有效将ANN的黑箱特性转化为透明、人类可读的符号规则，且性能损失可忽略。