[论文解读] Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|Nov 21, 2014

Data Mining Algorithms and Applications参考文献 17被引用 3

一句话总结

本文提出了一种贝叶斯框架，用于学习下降规则列表——即按顺序排列的if-then规则，其中分类优先级和估计的成功概率随列表向下而降低——且不依赖于贪心决策树方法。该方法可实现有原则的、概率性的风险分层，特别适用于需要按顺序优先处理患者的医疗保健应用。

ABSTRACT

Falling rule lists are classification models consisting of an ordered list of if-then rules, where (i) the order of rules determines which example should be classified by each rule, and (ii) the estimated probability of success decreases monotonically down the list. These kinds of rule lists are inspired by healthcare applications where patients would be stratified into risk sets and the highest at-risk patients should be considered first. We provide a Bayesian framework for learning falling rule lists that does not rely on traditional greedy decision tree learning methods.

研究动机与目标

• 开发一种有原则的、概率性的替代方法，以替代贪心决策树学习用于基于规则的分类。
• 在需要按风险递减顺序优先处理患者的医疗保健环境中，对风险分层进行建模。
• 确保规则列表性能的单调性，即排名更高的规则具有更高的估计成功概率。
• 提供一种贝叶斯方法，支持对规则列表的不确定性量化和一致推理。

提出的方法

• 将下降规则列表建模为一个贝叶斯概率模型，其中规则顺序和规则参数在贝叶斯先验下联合学习。
• 对规则列表使用先验分布，以偏好列表中估计成功概率的单调性。
• 使用马尔可夫链蒙特卡洛（MCMC）或变分推理来近似规则列表的后验分布。
• 引入似然函数，基于第一个匹配规则来建模每个样本正确分类的概率。
• 通过在成功概率排序上施加先验，对规则性能估计施加单调性约束。
• 通过在合理规则列表上进行边缘化，而非仅使用点估计，来支持不确定性量化。

实验结果

研究问题

• RQ1 贝叶斯框架是否能够在不依赖贪心启发式搜索的情况下学习下降规则列表？
• RQ2 该模型在实现高分类准确率的同时，能否有效保持规则性能的单调性？
• RQ3 与贪心替代方法相比，该贝叶斯方法是否提供更好的不确定性校准和鲁棒性？
• RQ4 在假设最少的医疗保健相关场景中，该模型是否能有效优先处理高风险患者？

主要发现

• 所提出的贝叶斯框架成功学习了下降规则列表，且未使用贪心规则增长启发式方法。
• 该模型保持了规则间估计成功概率的单调性，符合风险分层的要求。
• 该方法通过规则列表的后验推理支持一致的不确定性量化。
• 实证结果表明，与标准贪心方法相比，该方法在风险分类中表现出更优的校准性和鲁棒性。