[论文解读] Interpreting Deep Neural Networks Through Variable Importance

Jonathan Ish-Horowicz, Dana Udwin+3 more|arXiv (Cornell University)|Jan 28, 2019

Explainable Artificial Intelligence (XAI)参考文献 75被引用 9

一句话总结

本文通过将RelATive cEntrality (RATE)度量扩展至变分贝叶斯神经网络，提出了一种用于深度神经网络全局可解释性的贝叶斯框架。该方法通过利用后验不确定性与部分协方差结构，在无需调参的情况下实现特征重要性排序，在模拟数据和真实世界数据（包括基因组学应用）中表现出色。

ABSTRACT

While the success of deep neural networks (DNNs) is well-established across a variety of domains, our ability to explain and interpret these methods is limited. Unlike previously proposed local methods which try to explain particular classification decisions, we focus on global interpretability and ask a universally applicable question: given a trained model, which features are the most important? In the context of neural networks, a feature is rarely important on its own, so our strategy is specifically designed to leverage partial covariance structures and incorporate variable dependence into feature ranking. Our methodological contributions in this paper are two-fold. First, we propose an effect size analogue for DNNs that is appropriate for applications with highly collinear predictors (ubiquitous in computer vision). Second, we extend the recently proposed "RelATive cEntrality" (RATE) measure (Crawford et al., 2019) to the Bayesian deep learning setting. RATE applies an information theoretic criterion to the posterior distribution of effect sizes to assess feature significance. We apply our framework to three broad application areas: computer vision, natural language processing, and social science.

研究动机与目标

• 为解决深度神经网络（DNNs）在科学领域中缺乏全局可解释性的问题，特别是在特征显著性与预测准确性同等重要的场景下。
• 开发一种方法，可在不重新训练模型或调整超参数的情况下，识别已训练DNN中最关键的输入特征。
• 通过变分贝叶斯方法对不确定性进行量化，将原始用于高斯过程回归的RATE度量扩展至深度神经网络。
• 在生物标志物发现和医学诊断等高风险应用场景中，实现对复杂DNN的可解释性分析。
• 提供一种可扩展且有理论依据的变量重要性方法，通过部分协方差结构捕捉特征间的交互作用。

提出的方法

• 通过变分贝叶斯神经网络中效应大小的后验分布，计算相对中心性，将RATE度量适配至深度神经网络。
• 利用网络权重后验分布的多元正态近似，推导效应大小估计值及其协方差。
• 通过求解涉及精度矩阵的线性系统来计算特征重要性：δj = λᵀ₋ⱼΛ₋ⱼ⁻¹λ₋ⱼ，该公式量化了每个特征的相对贡献。
• 采用统一框架，适用于任何具有可计算不确定性的DNN架构，包括使用拉普拉斯近似或随机梯度近似的方法。
• 引入groupRATE以评估变量组的重要性，使方法可应用于基因集等分层数据。
• 利用Sherman-Morrison公式将每特征的计算成本从O(p⁴)降低至O(p³)，显著提升高维数据的可扩展性。

实验结果

研究问题

• RQ1 RATE度量能否有效扩展至深度神经网络，以实现全局特征重要性排序？
• RQ2 所提出方法在无需调参的情况下，与现有方法相比在识别相关特征方面表现如何？
• RQ3 该方法在高维数据中多大程度上能捕捉复杂的特征交互作用与组级别重要性？
• RQ4 该方法能否应用于真实世界的生物医学数据集（如全基因组关联研究），以识别具有生物学意义的预测因子？
• RQ5 该方法的计算局限性是什么？在放射组学等大规模应用中应如何缓解？

主要发现

• 所提出方法在无需超参数调优的情况下，成功识别出模拟数据和真实世界数据中的关键特征，在稳定性与可解释性方面优于现有方法。
• 该方法在高维基因组学数据中表现出色，groupRATE能有效对具有生物学意义的基因集进行排序。
• 计算成本随特征数p呈O(p⁴)增长，使方法在p ≈ 10²时可行，但对p > 10⁴的场景仍具挑战性，需进一步优化。
• 通过使用Sherman-Morrison公式，计算成本降低至每特征O(p³)，显著提升了大规模数据集的可扩展性。
• 该方法适用于任何具有不确定性估计的DNN，包括通过拉普拉斯或SGD基近似实现的确定性网络，显著拓宽了实际应用范围。
• 该框架可通过将隐藏层表示视为聚合特征，实现对中间表示的可解释性分析，使生物或结构化数据场景下的中间表征中心性分析成为可能。