[论文解读] An Algorithm to Extract Rules from Artificial Neural Networks for Medical Diagnosis Problems

S. M. Kamruzzaman, Md. Monirul Islam|arXiv (Cornell University)|Sep 23, 2010

Data Mining Algorithms and Applications参考文献 32被引用 30

一句话总结

本文提出 REANN，一种四阶段算法，用于从训练好的三层前馈人工神经网络（ANN）中提取可解释的分类规则，以应用于医学诊断。通过使用构造性算法确定隐层节点数，剪枝无关连接和输入节点，利用启发式聚类对隐层节点激活值进行离散化，并从压缩后的网络中提取规则，REANN 在乳腺癌、糖尿病和隐形眼镜数据集上实现了与其它方法相当的高预测准确率和规则质量。

ABSTRACT

Artificial neural networks (ANNs) have been successfully applied to solve a variety of classification and function approximation problems. Although ANNs can generally predict better than decision trees for pattern classification problems, ANNs are often regarded as black boxes since their predictions cannot be explained clearly like those of decision trees. This paper presents a new algorithm, called rule extraction from ANNs (REANN), to extract rules from trained ANNs for medical diagnosis problems. A standard three-layer feedforward ANN with four-phase training is the basis of the proposed algorithm. In the first phase, the number of hidden nodes in ANNs is determined automatically by a constructive algorithm. In the second phase, irrelevant connections and input nodes are removed from trained ANNs without sacrificing the predictive accuracy of ANNs. The continuous activation values of the hidden nodes are discretized by using an efficient heuristic clustering algorithm in the third phase. Finally, rules are extracted from compact ANNs by examining the discretized activation values of the hidden nodes. Extensive experimental studies on three benchmark classification problems, i.e. breast cancer, diabetes and lenses, demonstrate that REANN can generate high quality rules from ANNs, which are comparable with other methods in terms of number of rules, average number of conditions for a rule, and predictive accuracy.

研究动机与目标

• 为解决人工神经网络在医学诊断中的'黑箱'问题，使其预测结果可解释。
• 开发一种系统化方法，将训练好的 ANNs 转换为人类可读的分类规则。
• 在通过剪枝和离散化降低模型复杂度的同时，保持预测准确率。
• 生成条件最少、准确率高的规则，以支持临床决策。
• 在标准医学诊断数据集上评估该方法，以证明其实际应用价值。

提出的方法

• 第一阶段使用构造性算法，自动确定三层前馈 ANNs 中隐层节点的最优数量。
• 第二阶段在不降低预测性能的前提下，从训练好的 ANNs 中剪枝无关连接和输入节点。
• 第三阶段使用高效的启发式聚类算法，对连续的隐层节点激活值进行离散化。
• 第四阶段通过分析隐层节点的离散化激活模式，提取分类规则。
• 规则提取过程基于压缩、剪枝和离散化后的网络结构，将输入条件映射到输出诊断结果。
• 该方法在三个基准数据集上进行了评估：乳腺癌、糖尿病和隐形眼镜。

实验结果

研究问题

• RQ1 能否通过系统化算法从训练好的 ANNs 中提取可解释规则，同时在医学诊断中保持高预测准确率？
• RQ2 所提出的剪枝和离散化过程在不牺牲性能的前提下，对降低模型复杂度的效率如何？
• RQ3 与其它规则提取或分类方法相比，所提取的规则在规则数量、规则长度和准确率方面表现如何？
• RQ4 REANN 算法能否从标准医学数据集中生成具有临床意义且可解释的规则？
• RQ5 四阶段处理过程对最终规则集的质量和可解释性有何影响？

主要发现

• REANN 在三个基准医学诊断数据集（乳腺癌、糖尿病和隐形眼镜）上成功提取了高质量的规则。
• 所提取的规则在预测准确率方面与其它最先进的规则提取和分类方法相当。
• 通过剪枝无关连接和输入节点，该方法降低了模型复杂度，使网络更加紧凑。
• 启发式聚类算法有效实现了对连续隐层节点激活值的离散化，从而支持可靠规则提取。
• 最终的规则集规则数量合理，且每条规则的平均条件数较低，显著提升了可解释性。
• 结果表明，REANN 为 ANNs 在医学诊断应用中的黑箱问题提供了一个切实可行的解决方案。