[论文解读] Learning Certifiably Optimal Rule Lists for Categorical Data

Elaine Angelino, Nicholas Larus-Stone+3 more|arXiv (Cornell University)|Apr 6, 2017

Bayesian Modeling and Causal Inference参考文献 38被引用 108

一句话总结

论文提出 CORELS，一种分支定界算法，为类别数据构建可证明最优、稀疏、可解释的规则列表，并附有最优性证明。

ABSTRACT

We present the design and implementation of a custom discrete optimization technique for building rule lists over a categorical feature space. Our algorithm produces rule lists with optimal training performance, according to the regularized empirical risk, with a certificate of optimality. By leveraging algorithmic bounds, efficient data structures, and computational reuse, we achieve several orders of magnitude speedup in time and a massive reduction of memory consumption. We demonstrate that our approach produces optimal rule lists on practical problems in seconds. Our results indicate that it is possible to construct optimal sparse rule lists that are approximately as accurate as the COMPAS proprietary risk prediction tool on data from Broward County, Florida, but that are completely interpretable. This framework is a novel alternative to CART and other decision tree methods for interpretable modeling.

研究动机与目标

• 开发一个框架，以学习最小化带有最优性证明的正则化经验风险的规则列表。
• 提供界限和数据结构，以 prune 搜索空间，实现高效的精确优化。
• 证明稀疏、可解释的规则列表在真实数据集上可与贪心方法相匹配或超越。
• 展示对刑事司法问题（COMPAS）和 NYPD 停止与盘问数据的适用性。

提出的方法

• 定义规则列表模型和正则化目标 R(d, x, y) = loss(d, x, y) + lambda * K，其中 K 是规则数量。
• 开发 CORELS，一种使用分层目标下界来修剪搜索空间的专门分支界定算法。
• 使用前缀树（trie）来管理规则列表，并使用对称性感知映射来利用规则的置换等价性。
• 证明下界（定理 1）并推导多种下界以进行剪枝：最小支持、准确性要求以及置换剪枝（定理 10–15, 20）。
• 提供前缀长度的上界和枚举策略以限制搜索，使在几秒内得到最优解，几分钟内获得证书。

实验结果

研究问题

• RQ1 我们能否构建在带正则化风险方面具有可证明最优性的类别数据规则列表？
• RQ2 哪些界限和数据结构技术能够实现可扩展的、精确的可解释规则列表优化？
• RQ3 具有可证明最优性的规则列表与贪心方法（CART、C4.5）在真实数据集上的比较？
• RQ4 具有可解释性、稀疏性的规则列表在准确性方面是否能与专有的黑箱模型相竞争？
• RQ5 该框架是否可以应用于刑事司法数据集（COMPAS、停止与盘问）以产生透明的风险预测？

主要发现

• CORELS 通过高度剪枝的搜索策略实现具有最优性证明的规则列表及最优性证明。
• 与 CART 和 C4.5 在公开数据集上相比，算法在样本外准确性方面具有竞争力或更优。
• 由 CORELS 找到的最优规则列表稀疏且可解释，便于在敏感领域实际使用。
• 在 COMPAS 和 NYPD/NYCLU 停止与盘问数据上，CORELS 产生具有可解释性的规则列表，准确性与更不透明的方法相当。
• 实现表明最优可解释模型可以接近或匹配复杂预测器，同时保持透明。