[论文解读] Bayes-Probe: Distribution-Guided Sampling for Prediction Level Sets.

Serena Booth, Yilun Zhou+2 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 2

一句话总结

Bayes-TrEx 是一种基于分布的采样框架，可识别具有特定预测置信度的分布内样本，从而实现对神经网络行为的灵活、整体性分析，超越测试集范围。通过使用贝叶斯推理从数据分布中采样，该方法揭示了高置信度误分类、模糊的决策边界以及模型的过度自信行为。

ABSTRACT

Post-hoc explanation methods are gaining popularity for interpreting, understanding, and debugging neural networks. Most analyses using such methods explain decisions in response to inputs drawn from the test set. However, the test set may have few examples that trigger some model behaviors, such as high-confidence failures or ambiguous classifications. To address these challenges, we introduce a flexible model inspection framework: Bayes-TrEx. Given a data distribution, Bayes-TrEx finds in-distribution examples with a specified prediction confidence. We demonstrate several use cases of Bayes-TrEx, including revealing highly confident (mis)classifications, visualizing class boundaries via ambiguous examples, understanding novel-class extrapolation behavior, and exposing neural network overconfidence. We use Bayes-TrEx to study classifiers trained on CLEVR, MNIST, and Fashion-MNIST, and we show that this framework enables more flexible holistic model analysis than just inspecting the test set. Code is available at this https URL.

研究动机与目标

• 解决仅依赖测试集输入的后 hoc 解释方法的局限性，这些方法可能无法充分代表罕见但关键的行为，例如高置信度失败。
• 实现对模型行为的系统性发现，如模糊分类和过度自信，这些行为在标准测试集中罕见或缺失。
• 通过基于预测置信度从数据分布中采样，而非依赖固定测试样本，提供一种灵活的框架以实现对模型的全面检查。
• 支持在分布偏移情况下的模型行为分析，包括新类别外推和边界模糊性。
• 通过生成暴露特定故障模式或置信度模式的示例，促进神经网络的调试与解释。

提出的方法

• 利用贝叶斯推理，从数据分布中采样，条件为期望的预测置信度水平。
• 使用概率模型识别在模型预测中产生特定置信度分数的分布内输入。
• 应用后验采样技术，生成触发高置信度或模糊分类的示例。
• 与现有神经网络分类器集成，探测预测级集合，无需重新训练。
• 采用灵活的框架，可适用于不同数据集和模型架构。
• 通过生成具有特定置信度特征的示例，支持对模型行为的分析。

实验结果

研究问题

• RQ1 我们能否系统性地识别出触发神经网络高置信度误分类的分布内样本？
• RQ2 如何使用代表数据分布的模糊示例来可视化决策边界？
• RQ3 神经网络在分布内输入上表现出过度自信的程度如何，我们能否量化这种行为？
• RQ4 我们能否通过生成位于已知类别边缘的示例，来研究新类别外推行为？
• RQ5 与标准测试集检查相比，所提出的框架在整体模型分析方面有何改进？

主要发现

• Bayes-TrEx 有效识别出在标准测试集中缺失或代表性不足的罕见高置信度误分类。
• 该框架揭示了暴露决策边界真实性质的模糊示例，尤其在 CLEVR 等复杂数据集中表现显著。
• 在 MNIST 和 Fashion-MNIST 上训练的神经网络，即使在视觉上模糊的输入上，也表现出对分布内样本的显著过度自信。
• 该方法能够有效分析模型在分布偏移下的行为，包括向新类别的外推。
• 通过基于预测置信度从数据分布中采样，Bayes-TrEx 提供了比仅依赖测试集分析更全面的模型行为视图。
• 该框架在多种数据集（包括 CLEVR、MNIST 和 Fashion-MNIST）中均表现出实用性，显著提升了模型可解释性。