[论文解读] Explaining Deep Learning Models - A Bayesian Non-parametric Approach

Wenbo Guo, Sui Huang+3 more|arXiv (Cornell University)|Nov 7, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用 10

一句话总结

该论文提出了一种结合多重弹性网络的贝叶斯非参数混合模型（DMM-MEN），通过近似深度学习模型的决策边界，从中提取全局且可泛化的洞察。该方法在解释单个预测方面优于最先进（SOTA）技术，并能通过识别输入特征的敏感性来揭示模型的脆弱性。

ABSTRACT

Understanding and interpreting how machine learning (ML) models make decisions have been a big challenge. While recent research has proposed various technical approaches to provide some clues as to how an ML model makes individual predictions, they cannot provide users with an ability to inspect a model as a complete entity. In this work, we propose a novel technical approach that augments a Bayesian non-parametric regression mixture model with multiple elastic nets. Using the enhanced mixture model, we can extract generalizable insights for a target model through a global approximation. To demonstrate the utility of our approach, we evaluate it on different ML models in the context of image recognition. The empirical results indicate that our proposed approach not only outperforms the state-of-the-art techniques in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of the target ML models.

研究动机与目标

• 为解决深度学习模型缺乏全局可解释性的问题，从而限制对模型优势与劣势的理解。
• 开发一种方法，以从多样化数据分布中提取关于模型对输入特征敏感性的可泛化洞察。
• 使模型开发者能够主动识别潜在漏洞，提升对复杂模型的信任度。
• 提供比现有白盒或黑盒方法更具问责性与可理解性的解释。
• 超越单个预测，通过近似模型的完整决策边界实现更全面的分析。

提出的方法

• 该方法使用贝叶斯非参数回归混合模型来近似目标深度学习模型的决策边界。
• 在混合模型中集成多重弹性网络，以增强对具有不同相关结构的输入的模式提取能力。
• 该模型实现对目标模型行为的全局近似，捕捉模型对特定输入维度的总体敏感性水平。
• 采用马尔可夫链蒙特卡洛（MCMC）采样，推断模型参数的后验分布，以实现稳健估计。
• 该方法将目标模型视为黑箱，可应用于任意预训练模型，无需修改其网络结构。
• 通过学习到的混合成分推导特征重要性，揭示哪些输入特征对预测影响最大。

实验结果

研究问题

• RQ1 对深度学习模型决策边界的全局近似能否揭示其对输入特征敏感性的可泛化洞察？
• RQ2 与LIME和SHAP等最先进局部解释技术相比，该方法在解释单个预测时表现如何？
• RQ3 该方法在多大程度上能通过识别关键输入维度来检测模型脆弱性？
• RQ4 该方法在高维及超高维数据（如ImageNet）上是否保持高性能？
• RQ5 该方法能否推广至图像识别以外的不同学习模型与任务？

主要发现

• 在MNIST数据集上，DMM-MEN在解释预测时达到99.89%的准确率，置信区间为99.74–100%，在准确率与置信区间上均优于LIME（100%）和SHAP（99.95%）。
• 在Fashion-MNIST数据集上，DMM-MEN准确率达到97.59%（置信区间97.32–97.89%），在解释质量上显著优于LIME（100%）和SHAP（98.32%）。
• 在ImageNet数据集上，DMM-MEN在全局洞察提取方面准确率达到69.36%（置信区间47.88–90.18%），显著优于LIME（85.6%）和SHAP（66.05%）。
• 该方法在识别模型脆弱性方面表现优异，成功揭示了影响整体模型行为的关键输入特征。
• 该方法具有较低延迟，ImageNet上的推理时间仅为139.2秒，与典型深度学习训练时间相当。
• 该方法在超高维数据上依然有效，在此类输入上解释单个决策的性能显著优于最先进水平。