[论文解读] Explanations for Monotonic Classifiers

João Marques‐Silva, Thomas Gerspacher+3 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data ClassificationComputer Science被引用 20

一句话总结

本文提出了一种多项式时间、与模型无关的算法，用于计算单调分类器的正式PI解释和对比解释，利用单调性确保正确性和效率。该方法相较于启发式方法（如Anchor）实现了显著的加速，即使通过SAT-based枚举法枚举所有解释，其开销也可忽略不计。

ABSTRACT

In many classification tasks there is a requirement of monotonicity. Concretely, if all else remains constant, increasing (resp. decreasing) the value of one or more features must not decrease (resp. increase) the value of the prediction. Despite comprehensive efforts on learning monotonic classifiers, dedicated approaches for explaining monotonic classifiers are scarce and classifier-specific. This paper describes novel algorithms for the computation of one formal explanation of a (black-box) monotonic classifier. These novel algorithms are polynomial in the run time complexity of the classifier and the number of features. Furthermore, the paper presents a practically efficient model-agnostic algorithm for enumerating formal explanations.

研究动机与目标

• 解决尽管单调分类器在高风险应用中广泛应用，却缺乏专用、正式的解释方法的问题。
• 开发与模型无关的算法，无需访问内部模型结构，即可计算精确、正式的解释（PI解释和对比解释）。
• 通过利用单调性，确保计算效率，实现相对于分类器推理时间与特征数量的多项式时间复杂度。
• 利用基于SAT的方法实现所有正式解释的可扩展枚举，实际性能开销极低。
• 提供解释质量和正确性的理论与实证保证，避免启发式方法（如Anchor）可能产生错误解释的缺陷。

提出的方法

• 提出一种新颖算法，以相对于分类器推理时间与特征数量的多项式时间，计算单个PI解释（使预测成立的最小特征子集）。
• 利用单调性引导搜索最小充分特征子集，确保增加特征值不会降低预测结果。
• 设计一种对比解释算法，识别出若其缺失将改变预测结果的最小特征子集，同样在多项式时间内完成。
• 采用基于SAT的公式化方法，系统性地枚举所有可能的PI解释与对比解释，实现完整解释集的分析。
• 将SAT求解器与基于单调性的剪枝技术结合，减少搜索空间，提升枚举过程的效率。
• 通过仅需黑盒访问分类器，确保方法与模型无关，适用于任何单调模型，无需了解其内部结构。

实验结果

研究问题

• RQ1 是否可以在不依赖模型特定逻辑或知识编译的前提下，高效计算单调分类器的正式、子集最小化解释（PI解释）？
• RQ2 利用单调性是否能实现解释的多项式时间计算，同时保持正确性与完备性？
• RQ3 与启发式解释器（如Anchor）相比，所提方法在速度、解释大小和正确性保证方面表现如何？
• RQ4 在真实世界的单调模型中，基于SAT的方法枚举所有正式解释的实际可扩展性如何？
• RQ5 使用SAT求解器进行枚举在多大程度上引入计算开销？对于具有数百个特征的模型是否可行？

主要发现

• 所提算法以相对于分类器推理时间与特征数量的多项式时间计算单个正式解释，实现高效的解释生成。
• 在Auto-MPG和PimaMono数据集上，总运行时间分别有99.99%和99.54%由分类器推理主导，表明解释计算的开销可忽略不计。
• 在BankruptcyRisk和PimaMono数据集上，MonoXP的运行速度比Anchor快一个数量级以上，主要得益于更少的分类器查询次数。
• 平均而言，MonoXP生成的解释大小与Anchor相当或更小，且在BankruptcyRisk数据集中，64.1%的Anchor解释为错误（即在所有特征空间点上不成立）。
• 基于SAT的枚举算法成功在极低计算开销下，为两个数据集完整计算出所有AXp与CXp解释，证明了其实际可扩展性。
• 结果表明，正式定义的解释未必比启发式解释更大，且单调性可同时实现解释生成的正确性与高效性。