[论文解读] Bayes-TrEx: a Bayesian Sampling Approach to Model Transparency by Example

Serena Booth, Yilun Zhou+2 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

Bayes-TrEx 提出了一种贝叶斯采样框架，通过生成具有特定预测置信度的分布内样本，提升模型透明度，超越测试集分析。通过在分层贝叶斯模型上使用 MCMC，该方法揭示了高置信度误分类、模糊案例及外推行为——相较于仅依赖测试集检查，其在发现模型失效模式方面表现更优。

ABSTRACT

Post-hoc explanation methods are gaining popularity for interpreting, understanding, and debugging neural networks. Most analyses using such methods explain decisions in response to inputs drawn from the test set. However, the test set may have few examples that trigger some model behaviors, such as high-confidence failures or ambiguous classifications. To address these challenges, we introduce a flexible model inspection framework: Bayes-TrEx. Given a data distribution, Bayes-TrEx finds in-distribution examples with a specified prediction confidence. We demonstrate several use cases of Bayes-TrEx, including revealing highly confident (mis)classifications, visualizing class boundaries via ambiguous examples, understanding novel-class extrapolation behavior, and exposing neural network overconfidence. We use Bayes-TrEx to study classifiers trained on CLEVR, MNIST, and Fashion-MNIST, and we show that this framework enables more flexible holistic model analysis than just inspecting the test set. Code is available at https://github.com/serenabooth/Bayes-TrEx.

研究动机与目标

• 解决仅依赖测试集输入的后处理解释方法的局限性，这些方法可能缺少罕见或高置信度失效模式的示例。
• 通过生成多样且分布内的样本，实现对模型的全面分析，以触发特定预测置信度。
• 通过示例提升模型透明度，尤其针对过度自信、模糊分类及新类别外推等行为。
• 提供一种灵活的框架，适用于学习到的数据分布（如 VAE、GAN）或手动定义的分布，适用于各类视觉基准。
• 通过生成可进一步用显著性图等局部解释技术分析的示例，支持调试与解释。

提出的方法

• Bayes-TrEx 将寻找具有目标预测置信度的分布内样本问题，建模为分层贝叶斯模型中的后验推断。
• 使用马尔可夫链蒙特卡洛（MCMC）采样来探索潜在表征的后部分布，确保生成的样本既合理又匹配目标置信度水平。
• 通过放宽精确置信度区间约束、扩大置信度范围，使后验采样在计算上可行。
• 与通过 VAE 或 GAN 学习到的图像数据分布集成，或对 CLEVR 等结构化数据使用手动定义的分布。
• 通过指定不同的置信度目标（如平衡、高置信度或模糊预测），支持多种使用场景。
• 生成的样本进一步通过现有局部解释方法（如 SmoothGrad）进行分析，以解释模型注意力与决策依据。

实验结果

研究问题

• RQ1 贝叶斯采样方法能否生成分布内样本，揭示标准测试集中遗漏的高置信度误分类？
• RQ2 与测试集检查相比，Bayes-TrEx 在揭示可视化类别边界的模糊样本方面效果如何？
• RQ3 Bayes-TrEx 在暴露模型过度自信及新类别外推行为方面有多彻底，这些行为在混淆矩阵中并不明显？
• RQ4 在真实性与代表性方面，生成样本与测试集样本相比，在模型调试中表现如何？
• RQ5 该框架能否泛化至不同数据分布与模型架构，包括在 CLEVR、MNIST 和 Fashion-MNIST 上训练的模型？

主要发现

• Bayes-TrEx 在 Fashion-MNIST 中发现了 51 例高置信度误分类，远超测试集的 93 个总样本，且多数测试集失败源于数据标注错误而非模型错误。
• 在 CLEVR 中，Bayes-TrEx 发现一个仅包含圆柱体和立方体的场景，模型却以 97.1% 的置信度将其分类为包含球体，揭示了关键失效模式。
• 该框架始终发现比测试集分析更多的高置信度误分类与模糊案例，后者常因数据稀疏性而缺失此类情况。
• 对于新类别外推，Bayes-TrEx 揭示了模型将包误分类为短靴的行为——该行为在测试集混淆矩阵中完全不存在，表明存在隐藏的失效模式。
• 应用于生成样本的显著性图证实，模型注意力被错误引导至小而视觉相似的物体（如将红色圆柱体误认为球体），验证了发现结果的可解释性。
• 该方法表明，基于测试集的评估可能遗漏关键失效模式，而 Bayes-TrEx 通过系统化、分布感知的示例生成，实现了更全面且可信的模型透明度。