[论文解读] Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach

Fan Yang, Kai He+5 more|arXiv (Cornell University)|Jun 8, 2022

Rough Sets and Fuzzy Logic参考文献 30被引用 10

一句话总结

本文提出了一种子模优化框架，通过将规则集学习建模为正则化子模最大化问题，实现可解释决策规则集的学习。该方法引入一种近似迭代局部搜索算法，以解决规则构建中的NP难子问题，在真实世界数据集上实现了强大的预测性能与可解释性，并在精确求解子问题时具有理论保证。

ABSTRACT

Rule sets are highly interpretable logical models in which the predicates for decision are expressed in disjunctive normal form (DNF, OR-of-ANDs), or, equivalently, the overall model comprises an unordered collection of if-then decision rules. In this paper, we consider a submodular optimization based approach for learning rule sets. The learning problem is framed as a subset selection task in which a subset of all possible rules needs to be selected to form an accurate and interpretable rule set. We employ an objective function that exhibits submodularity and thus is amenable to submodular optimization techniques. To overcome the difficulty arose from dealing with the exponential-sized ground set of rules, the subproblem of searching a rule is casted as another subset selection task that asks for a subset of features. We show it is possible to write the induced objective function for the subproblem as a difference of two submodular (DS) functions to make it approximately solvable by DS optimization algorithms. Overall, the proposed approach is simple, scalable, and likely to be benefited from further research on submodular optimization. Experiments on real datasets demonstrate the effectiveness of our method.

研究动机与目标

• 开发一种全局最优、可解释的规则集学习方法，平衡准确率与可解释性。
• 解决从指数级庞大的规则空间中高效选择高质量规则的挑战。
• 将规则构建建模为可借助子模优化求解且具备近似保证的子问题。
• 设计一种高效的近似算法，适用于精确求解子问题不可行的大规模数据集。
• 通过实证验证该方法在性能上与最先进规则学习算法具有竞争力。

提出的方法

• 将主要学习问题建模为所有可能规则构成的基集上的正则化子模最大化问题。
• 将为新规则选择特征的子问题转化为子集选择任务，其目标函数可表示为两个子模函数之差（DS分解）。
• 提出一种迭代局部组合搜索算法，以近似求解子问题，从而实现对高维数据的可扩展性。
• 外层循环采用贪心前向选择策略，在子问题被最优求解时具备近似保证。
• 在低维设置下使用定制化的分支定界（BnB）过程进行子问题的精确求解，以评估近似质量。
• 通过一种与模型无关的一对一（OvO）约简方法支持多分类任务，避免对基分类器输出置信度分数的需求。

实验结果

研究问题

• RQ1 子模优化能否有效应用于从表格数据中学习准确且可解释的规则集？
• RQ2 如何在保持理论保证的前提下，高效近似求解规则构建的NP难子问题？
• RQ3 所提出的近似子问题求解器在实际中是否能保持与精确求解相当的性能？
• RQ4 在预测准确率和可解释性方面，该方法与最先进规则学习算法相比表现如何？
• RQ5 该框架能否在不依赖基分类器置信度分数的前提下扩展至多分类任务？

主要发现

• 在20个真实世界数据集上，所提方法与最先进规则学习算法相比，表现出具有竞争力的预测性能。
• 在九个低维数据集上，近似子问题求解器与精确BnB求解相比，相对间隙小于1%，表明近似质量优异。
• 在五个低维数据集中，近似与精确子问题求解器生成了完全相同的规则集，证明了结果的一致性。
• 近似解与精确解之间的相对间隙并未随数据维度增加而上升，表明近似方法具有鲁棒性。
• 该方法通过学习紧凑、人类可读的规则集，保持了强大的可解释性，相较于黑箱模型更易于审计与诊断。
• 实证结果表明，尽管近似求解破坏了理论近似保证，但其对最终规则集性能的影响并不一定导致下降。