[论文解读] Interpretable and Fair Boolean Rule Sets via Column Generation

Connor Lawless, Sanjeeb Dash+2 more|arXiv (Cornell University)|Nov 16, 2021

Machine Learning and Data Classification参考文献 83被引用 10

一句话总结

本文提出一种基于列生成的整数规划方法，用于学习以析取范式（DNF）形式表示的可解释、公平的布尔规则集，通过优化准确率与简洁性，同时施加公平性约束（如机会均等和均等 odds）。该方法在16个数据集中的8个上优于三种最先进方法，并在准确率与公平性之间实现了更优的权衡，且准确率损失极小。

ABSTRACT

This paper considers the learning of Boolean rules in disjunctive normal form (DNF, OR-of-ANDs, equivalent to decision rule sets) as an interpretable model for classification. An integer program is formulated to optimally trade classification accuracy for rule simplicity. We also consider the fairness setting and extend the formulation to include explicit constraints on two different measures of classification parity: equality of opportunity and equalized odds. Column generation (CG) is used to efficiently search over an exponential number of candidate rules without the need for heuristic rule mining. To handle large data sets, we propose an approximate CG algorithm using randomization. Compared to three recently proposed alternatives, the CG algorithm dominates the accuracy-simplicity trade-off in 8 out of 16 data sets. When maximized for accuracy, CG is competitive with rule learners designed for this purpose, sometimes finding significantly simpler solutions that are no less accurate. Compared to other fair and interpretable classifiers, our method is able to find rule sets that meet stricter notions of fairness with a modest trade-off in accuracy.

研究动机与目标

• 开发一种基于 DNF 形式布尔规则集的可解释且公平的分类模型。
• 通过整数规划优化分类准确率与规则集简洁性之间的权衡。
• 在规则学习过程中整合公平性约束，特别是机会均等与均等 odds。
• 在不依赖启发式规则挖掘的前提下，高效搜索指数级数量的候选规则。
• 评估汉明损失在此情境下作为 0-1 分类损失代理目标的有效性。

提出的方法

• 构建一个混合整数规划（MIP）模型，以最小化汉明损失，同时对规则复杂度施加约束以保证可解释性。
• 采用列生成（CG）方法动态生成高质量规则，无需枚举所有可能的候选规则。
• 通过整数规划求解定价子问题，以在每次 CG 迭代中识别最具前景的规则。
• 为大规模数据集引入随机近似方案，以降低计算成本。
• 将 MIP 公式扩展，以同时包含对机会均等和均等 odds 的公平性约束。
• 采用两阶段方法：首先从随机森林中挖掘初始规则，然后通过 CG 进行优化，并结合超参数调优。

实验结果

研究问题

• RQ1 列生成能否在无需启发式规则挖掘的前提下，有效学习到紧凑、准确且公平的 DNF 规则集？
• RQ2 在规则集学习中，汉明损失与 0-1 分类损失相比，作为代理目标表现如何？
• RQ3 所提出方法在多大程度上能优于现有可解释公平分类器，实现更优的公平性-准确率权衡？
• RQ4 该方法的性能如何随数据集规模扩展？在大规模问题中，哪些近似方法有效？
• RQ5 显式公平性约束对规则集复杂度与模型准确率有何影响？

主要发现

• 基于列生成的方法在16个标准分类数据集中的8个上，主导了准确率-简洁性权衡，优于三种近期的规则学习器。
• 在最大化准确率时，该方法生成的规则集通常显著比竞争方法更简洁，同时保持或提升了准确率。
• 在公平性设置下，该方法在仅造成适度准确率下降的情况下，实现了更严格的公平性约束（更低的不公平性），优于其他公平分类器。
• 在所有公平性指标和数据集上，所提出的 Fair CG 方法均优于 Fair CORELS 基线，表现出更低的不公平性和更高的准确率。
• 实证结果表明，汉明损失代理目标在实践中是有效的，尽管理论上证明了一个负面结果，表明其并不总能与 0-1 损失完全对齐。
• 针对定价问题的随机近似方案使该方法在大规模数据集上实现了可扩展的性能，同时保持了具有竞争力的结果。