[论文解读] Interpretable Random Forests via Rule Extraction

Clément Bénard, Gérard Biau+2 more|arXiv (Cornell University)|Apr 29, 2020

Neural Networks and Applications参考文献 36被引用 25

一句话总结

SIRUS 是一种稳定且可解释的回归规则提取算法，通过选择频繁出现的路径，从随机森林中提取出简洁、稳健的规则列表。它在确保高稳定性和简洁性的同时，实现了最先进的预测准确性，其理论和实证结果均证明了在温和正则性条件下规则选择的渐近一致性。

ABSTRACT

We introduce SIRUS (Stable and Interpretable RUle Set) for regression, a stable rule learning algorithm which takes the form of a short and simple list of rules. State-of-the-art learning algorithms are often referred to as "black boxes" because of the high number of operations involved in their prediction process. Despite their powerful predictivity, this lack of interpretability may be highly restrictive for applications with critical decisions at stake. On the other hand, algorithms with a simple structure-typically decision trees, rule algorithms, or sparse linear models-are well known for their instability. This undesirable feature makes the conclusions of the data analysis unreliable and turns out to be a strong operational limitation. This motivates the design of SIRUS, which combines a simple structure with a remarkable stable behavior when data is perturbed. The algorithm is based on random forests, the predictive accuracy of which is preserved. We demonstrate the efficiency of the method both empirically (through experiments) and theoretically (with the proof of its asymptotic stability). Our R/C++ software implementation sirus is available from CRAN.

研究动机与目标

• 解决传统基于规则的模型和黑箱算法在回归任务中的不稳定性问题。
• 开发一种将可解释性、稳定性和预测准确性统一于单一框架的方法。
• 通过基于频率的规则选择方法，从随机森林中提取紧凑、稳定且可解释的规则集。
• 在温和正则性假设下，证明规则选择过程的渐近稳定性。
• 为需要透明决策的实际应用场景提供实用且开源的实现。

提出的方法

• SIRUS 构建一个大型随机森林，其中分裂点被限制在 q-经验分位数（例如，q=10）上，以增强稳定性。
• 将每棵树中的每个节点转换为一个基本规则，定义输入空间中的一个超矩形，并赋予恒定的预测值。
• 基于规则在森林中出现的经验频率进行选择，使用阈值 p0 来筛选出最稳健的模式。
• 通过后处理步骤去除线性相关的规则，并利用稀疏线性聚合选择最小且非冗余的规则集。
• 理论分析采用符号路径表示 P = {(jk, rk, sk)} 来定义路径，并推导出所选规则集的渐近稳定性。
• 该方法基于理论一致性：随着样本量增加，独立运行中将一致地选择出相同的规则列表。

实验结果

研究问题

• RQ1 基于规则的回归模型是否能在数据扰动下保持高预测准确性的同时具备稳定性？
• RQ2 将树分裂限制在分位数阈值上，是否能提高从随机森林中提取规则的稳定性？
• RQ3 基于频率的规则选择方法是否在渐近意义上具有一致性和稳定性？
• RQ4 与现有规则方法（如 RuleFit 和 Node Harvest）相比，SIRUS 在规则集大小、稳定性和预测性能方面表现如何？
• RQ5 能否从树集成中提取出稳定且可解释的规则集，同时不牺牲预测能力？

主要发现

• SIRUS 生成的规则列表显著短于 RuleFit 和 Node Harvest，规则集通常少于 10 条，而对比方法通常为 30–50 条。
• 实证结果表明，SIRUS 的预测准确性与当前最先进的方法相当，多个数据集上的未解释方差与最佳方法相差不超过 10%。
• 在 'Machine' 数据集上，SIRUS 的平均未解释方差为 0.27（10 折交叉验证），与最佳性能方法相当，且更加稳定。
• 理论分析证明，SIRUS 具有渐近稳定性：随着样本量增加，独立运行中将一致选择出相同的规则列表。
• 该方法的稳定性归因于分位数分裂策略以及使用随机森林而非提升集成，从而降低了对数据扰动的敏感性。
• 一个名为 'sirus' 的 R/C++ 实现已发布于 CRAN，支持在工业和科学应用中的实际部署。