[论文解读] An Optimization Approach to Learning Falling Rule Lists

Chaofan Chen, Cynthia Rudin|arXiv (Cornell University)|Oct 6, 2017

Data Mining Algorithms and Applications参考文献 1被引用 9

一句话总结

该论文提出一种基于优化的方法来学习下落规则列表——一种用于二分类任务的可解释、单调的概率决策列表——通过使用带边界的蒙特卡洛搜索高效剪枝搜索空间。该方法在训练收敛速度上表现更优，并在较少迭代次数内识别出与贝叶斯方法相似的高影响力规则，已在 bank-full 数据集上得到验证。

ABSTRACT

A falling rule list is a probabilistic decision list for binary classification, consisting of a series of if-then rules with antecedents in the if clauses and probabilities of the desired outcome ("1") in the then clauses. Just as in a regular decision list, the order of rules in a falling rule list is important -- each example is classified by the first rule whose antecedent it satisfies. Unlike a regular decision list, a falling rule list requires the probabilities of the desired outcome ("1") to be monotonically decreasing down the list. We propose an optimization approach to learning falling rule lists and "softly" falling rule lists, along with Monte-Carlo search algorithms that use bounds on the optimal solution to prune the search space.

研究动机与目标

• 开发一种高效的优化框架，用于学习强制预测概率沿规则列表单调递减的下落规则列表。
• 解决受约束的规则列表学习挑战，特别是单调性约束，该约束难以通过贪心或贝叶斯方法处理。
• 与现有贝叶斯方法相比，提升训练速度和可扩展性，同时保持规则列表的可解释性。
• 提出新颖的“软性下落”规则列表概念，通过在目标函数中引入惩罚项，实现对单调性约束的可控松弛。
• 通过实证验证该方法在 real-world 数据集（如 bank-full）上识别出一致且高影响力的可解释规则的能力。

提出的方法

• 将下落规则列表形式化为具有单调递减结果概率的 probabilistic decision lists。
• 提出算法 FRL，一种使用最优解边界来剪枝搜索空间的蒙特卡洛搜索方法。
• 通过在目标函数中引入惩罚项，放松严格单调性约束，提出“软性下落”规则列表。
• 采用基于边界的剪枝策略，在搜索过程中降低计算成本，提升效率。
• 使用正类加权（例如 w=7）来在优化目标中优先考虑罕见的正样本结果。
• 将该方法应用于 bank-full 数据集，在相同条件下与贝叶斯学习方法进行比较。

实验结果

研究问题

• RQ1 优化框架能否在保持可解释性的同时，有效学习具有单调性约束的下落规则列表？
• RQ2 与贝叶斯学习相比，所提出的优化方法在收敛速度和规则质量方面表现如何？
• RQ3 所学习的下落规则列表在不同运行和方法之间，能在多大程度上识别出一致的高影响力条件？
• RQ4 “软性下落”规则列表概念是否能在不损失可解释性的前提下提升模型灵活性？
• RQ5 基于边界的剪枝策略是否能显著减少搜索空间探索时间？

主要发现

• 基于优化的算法 FRL 在训练收敛速度上优于贝叶斯方法，在 3000 次迭代内即识别出与贝叶斯方法在 6000 次迭代内相同的顶级规则。
• 在多次运行中，贝叶斯方法与优化方法均识别出相同的前四个规则，表明对高影响力条件的发现具有一致性。
• 通过优化方法学习到的下落规则列表在 w=7 时，对 poutcome=success 且 housing=no 的客户，其顶级规则概率达到 0.70。
• 该方法成功识别出一条针对 poutcome=success 且 previous≥2 的规则，其成功概率为 0.55，表明对罕见但关键情况具有敏感性。
• “软性下落”规则列表概念具有新颖性，能够实现对单调性的可控松弛，提升模型拟合度而不损失可解释性。
• 基于边界的剪枝策略显著减少了搜索空间，实现了对规则列表结构的高效探索。