[论文解读] Gaining Free or Low-Cost Transparency with Interpretable Partial Substitute

Tong Wang|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Data Classification参考文献 33被引用 5

一句话总结

该论文提出了一种混合模型框架，通过在黑箱模型过于复杂的子集数据上用可解释的部分替代模型取代黑箱模型，实现在几乎不损失预测性能的前提下实现透明性。混合规则集（HyRS）模型在数据子集上使用可解释的决策规则进行早期、透明的预测，仅在必要时才调用黑箱模型，实验表明其在透明度与准确率之间实现了权衡，透明度达82%，准确率为77%。

ABSTRACT

This work addresses the situation where a black-box model with good predictive performance is chosen over its interpretable competitors, and we show interpretability is still achievable in this case. Our solution is to find an interpretable substitute on a subset of data where the black-box model is overkill or nearly overkill while leaving the rest to the black-box. This transparency is obtained at minimal cost or no cost of the predictive performance. Under this framework, we develop a Hybrid Rule Sets (HyRS) model that uses decision rules to capture the subspace of data where the rules are as accurate or almost as accurate as the black-box provided. To train a HyRS, we devise an efficient search algorithm that iteratively finds the optimal model and exploits theoretically grounded strategies to reduce computation. Our framework is agnostic to the black-box during training. Experiments on structured and text data show that HyRS obtains an effective trade-off between transparency and interpretability.

研究动机与目标

• 解决在高性能黑箱模型优于可解释替代方案时，实现模型可解释性的挑战。
• 开发一种方法，在黑箱模型过于复杂的子集数据上实现全保真度可解释性，避免事后近似误差。
• 通过将可解释模型限制在与黑箱模型性能几乎相当的数据子空间中，最小化可解释性带来的性能成本。
• 通过利用仅时间不变特征，借助部分数据的可解释规则实现早期、低成本的预测。
• 提供一种可推广的框架，支持将任意可解释模型与黑箱模型集成，适用于线性模型、决策树和基于原型的模型等多种模型类型。

提出的方法

• 该框架采用顺序决策过程：首先应用可解释模型（如规则集）；若其置信度足够，则进行预测；否则调用黑箱模型。
• 混合规则集（HyRS）使用关联规则作为可解释的局部替代模型，基于黑箱模型几乎冗余的数据子集进行训练。
• 开发了一种高效的搜索算法，通过理论策略迭代识别最优规则集，降低计算成本。
• 训练过程中对黑箱模型保持模型无关性，支持与任意现有黑箱模型集成。
• 模型仅使用案例启动时可用的时间不变特征进行训练，实现无需等待时序数据的早期预测。
• 通过调整阈值参数（θ₂）生成透明度（规则覆盖的数据比例）与准确率之间的权衡曲线，使用户可选择最优模型配置。

实验结果

研究问题

• RQ1 我们能否在黑箱模型过于复杂的子集数据上实现全保真度可解释性，且不牺牲预测性能？
• RQ2 在混合模型设置中，模型透明度（可解释规则解释的数据比例）与预测准确率之间的权衡关系如何？
• RQ3 可解释模型能否作为有效部分替代，以减少对黑箱模型的依赖，同时保持高性能？
• RQ4 如何高效训练可解释模型，以覆盖数据中最大范围且高准确率的子空间，而无需事先了解黑箱模型的决策边界？
• RQ5 所提出的框架是否可推广至支持多种可解释模型（如线性模型、决策树）与任意黑箱模型的集成？

主要发现

• HyRS模型实现了82%的透明度（82%的数据由可解释规则覆盖）和77%的预测准确率，其准确率优于纯可解释模型，同时在显著的数据子集中保持了可解释性。
• 模型仅用四条正向规则和三条负向规则即覆盖了82%的数据，意味着18%的样本仍被路由至黑箱模型，显著降低了对复杂模型的依赖。
• 该框架实现了透明度与准确率之间的权衡，图4中的曲线显示，随着透明度提高，准确率呈渐进、可预测的下降趋势，但始终高于纯可解释模型的性能。
• 仅使用时间不变特征的可解释规则可实现医疗众筹中的早期预测，减少对昂贵或耗时的数据收集的依赖。
• 该方法在深度LSTM模型上实现了高预测性能（测试准确率达0.96），该模型被用作黑箱参考，验证了框架在真实场景中的有效性。
• 该框架具有可推广性，支持与多种可解释模型（包括线性模型、决策树和基于原型的模型）集成，如论文更广泛语境中所展示。