[论文解读] Explaining a black-box using Deep Variational Information Bottleneck Approach

Seojin Bang, Pengtao Xie+3 more|arXiv (Cornell University)|Feb 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 13

一句话总结

该论文提出 VIBI，一种与系统无关的、事后可解释的机器学习方法，利用深度变分信息瓶颈原理，通过选择关键认知单元（如词语、短语、图像区域）来生成简明但全面的解释，以最大化关于黑箱模型决策的信息量，同时最小化冗余。VIBI 在人类评估和保真度指标上均优于最先进方法，展现出更优的可解释性以及对黑箱决策的忠实近似。

ABSTRACT

Interpretable machine learning has gained much attention recently. Briefness and comprehensiveness are necessary in order to provide a large amount of information concisely when explaining a black-box decision system. However, existing interpretable machine learning methods fail to consider briefness and comprehensiveness simultaneously, leading to redundant explanations. We propose the variational information bottleneck for interpretation, VIBI, a system-agnostic interpretable method that provides a brief but comprehensive explanation. VIBI adopts an information theoretic principle, information bottleneck principle, as a criterion for finding such explanations. For each instance, VIBI selects key features that are maximally compressed about an input (briefness), and informative about a decision made by a black-box system on that input (comprehensive). We evaluate VIBI on three datasets and compare with state-of-the-art interpretable machine learning methods in terms of both interpretability and fidelity evaluated by human and quantitative metrics

研究动机与目标

• 解决现有可解释机器学习方法中简明性与全面性无法兼顾的问题。
• 开发一种与系统无关的、事后可解释框架，适用于任何黑箱模型且不损害其性能。
• 将‘优质’解释形式化为：在尽可能压缩输入信息的同时，最大程度保留关于输出的信息，基于信息瓶颈原理。
• 实现在认知单元层面（如词语、短语、图像块）的解释，提升人类可解释性。
• 将解释器网络与近似器网络解耦，以增强保真度并避免结构约束。

提出的方法

• VIBI 采用信息瓶颈目标的变分近似，实现对输入特征压缩与输出信息保留之间权衡的可计算优化。
• 解释器网络输出认知单元上的概率分布，表示其被选为解释部分的可能性。
• 近似器网络仅使用选定的认知单元来模仿黑箱模型的行为，从而支持保真度评估。
• 该方法通过 Gumbel-Softmax 对硬性选择过程进行可微松弛，使反向传播能够通过选择机制。
• 超参数 β 控制压缩性（低 β）与信息量（高 β）之间的权衡，实验中使用 β=0.1。
• 认知单元被定义为语义上有意义的特征组（如词语、句子、图像块），以实现人类可理解的解释。

实验结果

研究问题

• RQ1 像信息瓶颈这样的信息论原理能否有效应用于生成黑箱模型的简明但全面的解释？
• RQ2 所提出的 VIBI 框架在人类可解释性和模型保真度方面与最先进方法相比表现如何？
• RQ3 VIBI 中的压缩项在多大程度上提升了信息流通过解释的纯净度，相较于依赖连续松弛的方法？
• RQ4 一种无需修改黑箱模型架构的、事后且与系统无关的方法能否实现高保真度？
• RQ5 将原始特征分组为认知单元是否能提升解释的可理解性和准确性？

主要发现

• 在 IMDB 数据集的人工评估中，VIBI 仅使用五个关键词即实现了 44.7% 的准确率，与黑箱模型决策一致，优于 LIME（35.6%）、L2X（33.8%）和 SHAP（35.6%）。
• 在 MNIST 数据集上，VIBI 在突出关键数字特征方面的平均得分为 3.526（满分 5 分），优于显著性（3.448）、LIME（1.369）和 L2X（1.936）。
• VIBI 展现出更优的近似器保真度，在 4×4 图像块和 10 个认知单元设置下，MNIST 上达到 96.7% 的准确率，优于显著性（95.7%）、LIME（93.8%）和 SHAP（95.4%）。
• 在仅使用离散 top-k 认知单元的推理保真度评估中，VIBI 在 MNIST 上使用 4×4 图像块和 40 个认知单元时达到 91.5%，显著优于 L2X（81.1%），表明压缩项增强了信息流通过解释的纯净度。
• 在所有设置下，VIBI 的推理保真度均持续高于 L2X，证明压缩目标可防止对连续松弛带来的梯度伪影产生依赖。
• VIBI 在不同粒度和数据集上表现稳健，最佳结果出现在 β=0.1 时，表明其在压缩性与信息量之间实现了有效平衡。