[论文解读] Methods and Models for Interpretable Linear Classification

Berk Ustun, Cynthia Rudin|arXiv (Cornell University)|May 16, 2014

Neural Networks and Applications参考文献 103被引用 29

一句话总结

本文提出了一种整数规划框架，用于构建具有离散系数的准确且可解释的线性分类模型，实现0–1分类损失的完全优化以及可定制的可解释性约束。该框架可生成高度定制化的模型，如评分系统和M-of-N规则表，实现最先进水平的准确性，同时确保透明性和特定领域的定制化。

ABSTRACT

We present an integer programming framework to build accurate and interpretable discrete linear classification models. Unlike existing approaches, our framework is designed to provide practitioners with the control and flexibility they need to tailor accurate and interpretable models for a domain of choice. To this end, our framework can produce models that are fully optimized for accuracy, by minimizing the 0--1 classification loss, and that address multiple aspects of interpretability, by incorporating a range of discrete constraints and penalty functions. We use our framework to produce models that are difficult to create with existing methods, such as scoring systems and M-of-N rule tables. In addition, we propose specially designed optimization methods to improve the scalability of our framework through decomposition and data reduction. We show that discrete linear classifiers can attain the training accuracy of any other linear classifier, and provide an Occam's Razor type argument as to why the use of small discrete coefficients can provide better generalization. We demonstrate the performance and flexibility of our framework through numerical experiments and a case study in which we construct a highly tailored clinical tool for sleep apnea diagnosis.

研究动机与目标

• 解决现有可解释机器学习方法在控制力和灵活性方面的不足，这些方法依赖于近似和代理度量。
• 使实践者能够构建在准确度（通过0–1损失）和可解释性（通过离散约束）方面均完全优化的模型。
• 开发一种支持特定领域模型定制的框架，例如临床评分系统和基于规则的模型。
• 通过分解和数据约简技术，克服整数规划在高维设置下的可扩展性限制。
• 证明离散线性分类器可达到与其他任何线性分类器相当的准确性，同时通过小整数系数促进更好的泛化能力。

提出的方法

• 将分类问题表述为混合整数规划（MIP），以最小化0–1分类损失，确保无需代理损失函数的精确优化。
• 引入离散约束和惩罚函数（例如，当系数为二值时通过L1实现L0正则化），以强制实现可解释性特征，如稀疏性、单调性和整数系数。
• 使用数据约简和分解技术提高可扩展性，使该方法能够应用于更大规模的数据集。
• 通过阈值将实值特征和分类特征转换为二值规则，支持基于规则的建模，使用M-of-N规则表。
• 通过优化激活规则数量和正预测所需的最少规则数，构建M-of-N规则表。
• 应用个性化可解释性惩罚，以控制系数值并强制实施领域特定知识，如仅限整数权重或单调性。

实验结果

研究问题

• RQ1 整数规划框架能否生成既高度准确又完全可解释的线性分类器，而无需依赖代理损失函数？
• RQ2 在简化性和稀疏性基础上，具有整数系数的离散线性模型在泛化能力方面相较于连续模型能提升多少？
• RQ3 如何通过离散约束和惩罚函数系统性地控制和定制线性模型中的可解释性？
• RQ4 该框架能否在保持0–1损失精确优化的同时，高效扩展至真实世界数据集？
• RQ5 该框架能否生成现有方法难以实现的新型高度可解释模型类型——例如M-of-N规则表？

主要发现

• 所提出的框架生成的离散线性分类器在训练准确度上与任何其他线性分类器相当，证明离散模型并非固有地准确性较低。
• 使用小的离散系数（例如±1、0）可带来更好的泛化能力，支持基于奥卡姆剃刀原理的模型简洁性论点。
• 该框架生成的M-of-N规则表在breastcancer数据集上，使用8条规则和阈值3，实现了平均10折交叉验证测试误差4.8±2.5%。
• 该框架支持构建高度定制化的临床工具，已在睡眠呼吸暂停诊断的案例研究中得到验证，具备完全可解释性和领域特定约束。
• 通过使用精确的0–1损失和离散约束，该框架避免了使用逻辑回归损失或L1正则化方法固有的近似误差。
• 通过数据约简和分解技术，该框架的可扩展性得到显著提升，使其在中到大规模数据集上具备实际部署的可行性。