[论文解读] Learning outside the Black-Box: The pursuit of interpretable models

Jonathan Crabbé, Yao Zhang+2 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种新颖的算法，利用梅杰G-函数作为脊函数，生成黑箱机器学习模型的连续、全局解释。通过实现这些可微函数的基于梯度的优化，该方法实现了高度准确且简洁的解释，揭示了特征重要性和交互作用，显著超越了以往最先进方法的可解释性水平。

ABSTRACT

Machine Learning has proved its ability to produce accurate models but the deployment of these models outside the machine learning community has been hindered by the difficulties of interpreting these models. This paper proposes an algorithm that produces a continuous global interpretation of any given continuous black-box function. Our algorithm employs a variation of projection pursuit in which the ridge functions are chosen to be Meijer G-functions, rather than the usual polynomial splines. Because Meijer G-functions are differentiable in their parameters, we can tune the parameters of the representation by gradient descent; as a consequence, our algorithm is efficient. Using five familiar data sets from the UCI repository and two familiar machine learning algorithms, we demonstrate that our algorithm produces global interpretations that are both highly accurate and parsimonious (involve a small number of terms). Our interpretations permit easy understanding of the relative importance of features and feature interactions. Our interpretation algorithm represents a leap forward from the previous state of the art.

研究动机与目标

• 为以全局且人类可理解的方式解释复杂、连续的黑箱机器学习模型提供解决方案。
• 克服传统方法依赖不可微分组件（如多项式样条）的局限性。
• 开发一种高效、可微分的表示方法，以支持基于梯度下降的优化，从而提升模型可解释性。
• 生成稀疏但高度准确的解释，揭示特征重要性和交互作用。
• 通过实现连续、全局且可微分的模型解释，推动可解释机器学习领域的技术前沿。

提出的方法

• 该算法采用投影追踪框架，使用梅杰G-函数作为脊函数，而非标准的多项式样条。
• 选择梅杰G-函数是因为其相对于参数具有可微性，从而支持基于梯度的优化。
• 通过梯度下降调整梅杰G-函数的参数，以最小化黑箱函数与可解释近似之间的差异。
• 该方法使用少量项构建黑箱函数的全局、连续近似，确保简洁性。
• 所得模型通过学习到的参数，提供关于特征贡献和交互作用的可解释洞察。
• 该方法在五个UCI数据集上使用两种标准机器学习算法进行了评估，验证了其可扩展性和准确性。

实验结果

研究问题

• RQ1 能否使用梅杰G-函数构建黑箱函数的可微分、连续表示，以实现高效的优化？
• RQ2 此类表示在保持简洁性的同时，能否高精度地近似复杂的黑箱模型？
• RQ3 该方法在多大程度上能够揭示有意义的特征重要性和交互效应？
• RQ4 与现有最先进方法相比，该方法在可解释性和准确性方面表现如何？
• RQ5 该方法在保持可解释性和性能的前提下，能否有效扩展至真实世界数据集？

主要发现

• 该算法生成的全局解释既高度准确又简洁，仅需少量项即可实现高保真度。
• 使用可微分的梅杰G-函数支持通过梯度下降实现高效训练，显著提升了计算效率，优于不可微分的替代方法。
• 该方法成功揭示了特征重要性和交互作用，相较于以往方法具有显著的可解释性优势。
• 在五个UCI数据集上的实证评估证实，该方法在可解释性和准确性方面均优于当前最先进水平。
• 该算法在应用于多样化的真实世界数据集和机器学习模型时，表现出良好的鲁棒性和可扩展性。
• 所得解释是连续且全局的，能够全面呈现黑箱函数在整个输入空间中的行为。