[论文解读] Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods

Julien Ferry, Gabriel Laberge+1 more|arXiv (Cornell University)|Mar 8, 2023

Explainable Artificial Intelligence (XAI)参考文献 26被引用 5

一句话总结

本文提出了 HybridCORELS，一种新型方法，用于学习混合可解释模型，该模型通过门控机制将最优规则列表（可解释组件）与黑箱模型（例如随机森林）相结合。通过首先训练可解释模型（预黑箱范式），该方法在保持比独立黑箱模型更优泛化能力的同时，实现了对透明度的精确控制——展示了性能超越纯黑箱模型与纯可解释模型的‘最佳平衡点’。

ABSTRACT

A hybrid model involves the cooperation of an interpretable model and a complex black box. At inference, any input of the hybrid model is assigned to either its interpretable or complex component based on a gating mechanism. The advantages of such models over classical ones are two-fold: 1) They grant users precise control over the level of transparency of the system and 2) They can potentially perform better than a standalone black box since redirecting some of the inputs to an interpretable model implicitly acts as regularization. Still, despite their high potential, hybrid models remain under-studied in the interpretability/explainability literature. In this paper, we remedy this fact by presenting a thorough investigation of such models from three perspectives: Theory, Taxonomy, and Methods. First, we explore the theory behind the generalization of hybrid models from the Probably-Approximately-Correct (PAC) perspective. A consequence of our PAC guarantee is the existence of a sweet spot for the optimal transparency of the system. When such a sweet spot is attained, a hybrid model can potentially perform better than a standalone black box. Secondly, we provide a general taxonomy for the different ways of training hybrid models: the Post-Black-Box and Pre-Black-Box paradigms. These approaches differ in the order in which the interpretable and complex components are trained. We show where the state-of-the-art hybrid models Hybrid-Rule-Set and Companion-Rule-List fall in this taxonomy. Thirdly, we implement the two paradigms in a single method: HybridCORELS, which extends the CORELS algorithm to hybrid modeling. By leveraging CORELS, HybridCORELS provides a certificate of optimality of its interpretable component and precise control over transparency. We finally show empirically that HybridCORELS is competitive with existing hybrid models, and performs just as well as a standalone black box (or even better) while being partly transparent.

研究动机与目标

• 为解决机器学习中的准确率-透明度权衡问题，提出结合可解释组件与黑箱组件的混合模型。
• 基于 PAC 学习框架，为混合模型的泛化优势提供理论依据。
• 提出一种分类法，以区分混合建模中的后黑箱与预黑箱训练范式。
• 开发 HybridCORELS 方法，扩展 CORELS 以实现在混合设置下最优、可证明的规则列表学习。
• 通过实证验证，混合模型可在保持高可解释性的同时，优于独立的黑箱模型。

提出的方法

• 预黑箱范式先训练可解释组件（如规则列表），然后利用其预测结果指导黑箱模型的训练。
• 该方法利用 CORELS 算法——一种最优规则列表学习算法——以确保可解释组件的全局最优性与可证明性。
• 在推理阶段，门控机制根据可解释模型的置信度或规则覆盖范围，将每个输入路由至可解释模型或黑箱模型。
• 透明度定义为被路由至可解释组件的输入比例，从而实现对模型可解释性的直接控制。
• 该框架支持端到端训练与联合优化，尽管完整的端到端可证明性仍是开放挑战。
• 理论分析提供了类似 PAC 的泛化界，预测在透明度的某个‘最佳平衡点’处，泛化误差最小化。

实验结果

研究问题

• RQ1 结合可解释组件与黑箱模型的混合模型是否在泛化能力上优于独立的黑箱模型？
• RQ2 准确率-透明度权衡是否可被定量测量与优化，而非被视为一种神话般的权衡？
• RQ3 后黑箱与预黑箱训练范式在混合建模中的关键区别是什么？
• RQ4 能否有效将最优、可证明的规则列表集成到混合模型中，以同时提升可解释性与性能？
• RQ5 先训练可解释模型（预黑箱）是否在泛化能力上优于先训练黑箱模型（后黑箱）？

主要发现

• 在 COMPAS 数据集上，HybridCORELS Pre 的测试准确率为 68.1%，透明度为 42.7%，优于独立黑箱模型。
• 该方法发现了透明度的‘最佳平衡点’，在此处泛化误差最小化，且性能超过独立黑箱模型。
• 在 ACS 就业与 UCI Adult Income 数据集上，HybridCORELS 的性能与黑箱模型相当，同时实现了高达 70% 的透明度。
• 与仅使用黑箱模型相比，混合模型泛化能力更强，表明将简单输入路由至可解释组件具有正则化效应。
• 实证结果表明，预黑箱范式在多个数据集上均优于后黑箱范式，实现了更好的泛化能力。
• 由 HybridCORELS 学习得到的规则列表具有可证明性，可对大多数输入的模型行为进行形式化验证，从而减少了对剩余部分专家审查的需求。