[论文解读] Interpretable Two-level Boolean Rule Learning for Classification

Guolong Su, Dennis Wei+2 more|arXiv (Cornell University)|Jun 18, 2016

Machine Learning and Algorithms参考文献 16被引用 28

一句话总结

本文提出了一种新颖的优化框架，用于在合取范式（CNF）和析取范式（DNF）下学习可解释的两级布尔规则，采用一种系统性的目标函数，平衡汉明损失（准确率）与稀疏性（可解释性）。该方法结合了线性规划（LP）松弛、块坐标下降和交替最小化，实现在基准数据集上准确率与稀疏性之间的最先进权衡。

ABSTRACT

As a contribution to interpretable machine learning research, we develop a novel optimization framework for learning accurate and sparse two-level Boolean rules. We consider rules in both conjunctive normal form (AND-of-ORs) and disjunctive normal form (OR-of-ANDs). A principled objective function is proposed to trade classification accuracy and interpretability, where we use Hamming loss to characterize accuracy and sparsity to characterize interpretability. We propose efficient procedures to optimize these objectives based on linear programming (LP) relaxation, block coordinate descent, and alternating minimization. Experiments show that our new algorithms provide very good tradeoffs between accuracy and interpretability.

研究动机与目标

• 为高风险决策场景中的可解释机器学习模型提供支持，其中信任、可审计性和可调试性至关重要。
• 克服启发式和贪心规则学习方法缺乏统一目标函数、常以牺牲准确率或可解释性为代价的局限性。
• 开发一种系统性的优化框架，联合优化分类准确率（通过汉明损失衡量）与规则稀疏性（可解释性），适用于两级布尔规则。
• 实现表达性强的两级规则（CNF和DNF），可表示输入特征的任意布尔函数，超越简单的一级规则。
• 通过采用统一、可微的目标函数及基于LP松弛和交替最小化的高效算法，改进现有基于优化的方法。

提出的方法

• 将统一目标函数表述为汉明损失（衡量分类误差）与稀疏性（衡量可解释性）的加权组合，目标是最小化两者。
• 使用线性规划（LP）松弛处理规则学习中的整数规划问题，从而高效优化非凸、组合性问题。
• 采用块坐标下降（BCD）和交替最小化（AM）迭代优化规则结构与特征权重，每个子问题通过LP松弛求解。
• 引入一个“虚拟”特征（始终为真），以实现规则子句的动态禁用，无需预先固定子句数量。
• 应用德摩根定律将基于CNF的框架扩展至DNF规则学习，确保对称性与广泛适用性。
• 通过嵌套交叉验证调节稀疏性参数θ，以在不同数据集上平衡准确率与可解释性。

实验结果

研究问题

• RQ1 与启发式或贪心方法相比，系统性优化框架是否能显著改善两级布尔规则学习中准确率与可解释性之间的权衡？
• RQ2 所提出的BCD与AM算法在准确率与稀疏性方面，与RIPPER、C5.0、CART及集合覆盖等最先进方法相比表现如何？
• RQ3 两级规则（CNF/DNF）在保持高可解释性的同时，其分类准确率相较于一级规则的提升程度如何？
• RQ4 LP松弛与交替最小化在求解稀疏、高准确率布尔规则的组合优化问题中是否有效？
• RQ5 所提出的框架在大规模数据集上是否具备良好的可扩展性？在真实世界数据中，其特征数量与误差率与现有方法相比表现如何？

主要发现

• 所提出的BCD与AM算法在所有数据集上的测试误差率显著低于一级规则（OCRL），证明了两级规则更强的表达能力。
• 在所有数据集上，BCD与AM在准确率上均优于集合覆盖（SC）方法，其中BCD在WDBC数据集上表现最佳，AM在Pima数据集上表现最佳。
• BCD与AM生成的规则在稀疏性（特征数量）上显著低于C5.0与CART，同时保持了相当或更优的准确率。
• 在MAGIC和Musk这两个大规模数据集上，RIPPER选择的特征数显著更多（分别为110.0和92.0），而BCD仅分别选择11.4和26.5，表明可能存在可扩展性或过拟合问题。
• 在所有数据集的平均稀疏性排名中，BCD（3.1）和AM（3.4）最低，表明其可解释性优于DList（2.3）、C5.0（6.0）和RIPPER（3.4）。
• 在帕金森病数据集上学习到的一个示例规则正确识别了低频和体积变化减少等关键临床指标，与已知医学发现一致。