[论文解读] How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks

Alexander Wong, Xiaoyu Wang+1 more|arXiv (Cornell University)|Sep 12, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 16

一句话总结

本文提出了一套可解释的、基于行为的深度神经网络信任度量化指标，包括问答信任、信任密度、信任谱系和NetTrustScore，通过模型在正确与错误预测上的置信度行为来评估整体可信度。在ImageNet上的评估揭示了ResNet和EfficientNet等模型中信任失效的关键位置，为关键任务应用中的实际部署提供了可扩展的框架。

ABSTRACT

A critical step to building trustworthy deep neural networks is trust quantification, where we ask the question: How much can we trust a deep neural network? In this study, we take a step towards simple, interpretable metrics for trust quantification by introducing a suite of metrics for assessing the overall trustworthiness of deep neural networks based on their behaviour when answering a set of questions. We conduct a thought experiment and explore two key questions about trust in relation to confidence: 1) How much trust do we have in actors who give wrong answers with great confidence? and 2) How much trust do we have in actors who give right answers hesitantly? Based on insights gained, we introduce the concept of question-answer trust to quantify trustworthiness of an individual answer based on confident behaviour under correct and incorrect answer scenarios, and the concept of trust density to characterize the distribution of overall trust for an individual answer scenario. We further introduce the concept of trust spectrum for representing overall trust with respect to the spectrum of possible answer scenarios across correctly and incorrectly answered questions. Finally, we introduce NetTrustScore, a scalar metric summarizing overall trustworthiness. The suite of metrics aligns with past social psychology studies that study the relationship between trust and confidence. Leveraging these metrics, we quantify the trustworthiness of several well-known deep neural network architectures for image recognition to get a deeper understanding of where trust breaks down. The proposed metrics are by no means perfect, but the hope is to push the conversation towards better metrics to help guide practitioners and regulators in producing, deploying, and certifying deep learning solutions that can be trusted to operate in real-world, mission-critical scenarios.

研究动机与目标

• 解决医疗、金融和自动驾驶系统等关键任务领域对可信深度神经网络的迫切需求。
• 识别现有信任度量化方法的局限性，包括复杂度高、可解释性差以及与正确性证据不一致的问题。
• 基于模型在正确与错误预测中的置信度行为，开发一种简单且可解释的框架，用于评估深度神经网络的整体可信度。
• 提供一种可扩展的数据驱动信任度量化方法，支持监管合规性，并辅助实际人工智能部署中的从业者决策。

提出的方法

• 引入“问答信任”以基于置信度水平量化单个预测的信任度，无论答案正确或错误。
• 定义“信任密度”以表征不同答案场景下信任得分的分布，揭示一致或不一致信任的模式。
• 提出“信任谱系”作为整体信任在全部可能答案场景（包括正确与错误情况）中的可视化与分析表示。
• 开发NetTrustScore作为标量汇总指标，聚合所有预测的信任度，实现模型间的比较与认证。
• 利用深度神经网络的置信度得分，无需贝叶斯推断或复杂校准，确保广泛适用性。
• 在ImageNet的一个子集上，将该框架应用于知名图像识别模型（如ResNet、EfficientNet），以实证评估信任行为。

实验结果

研究问题

• RQ1 如何以符合人类对信任与置信度心理理解的方式量化深度神经网络预测的信任度？
• RQ2 当网络预测正确或错误时，预测置信度在塑造信任方面发挥什么作用？
• RQ3 如何在涵盖正确与错误答案的全部可能预测结果范围内表示信任度？
• RQ4 单一标量指标能否有效总结深度神经网络在多样化预测场景下的整体可信度？
• RQ5 信任失效发生在深度神经网络的哪些位置？能否通过信任密度与谱系分析系统识别这些位置？

主要发现

• 所提出的信任度指标，尤其是NetTrustScore，为多种架构的深度神经网络提供了可扩展且可解释的整体可信度总结方式。
• 信任谱系揭示了明显的行为模式：在错误预测上表现出高置信度的模型，尽管置信度高，但可信度低，这与信任与过度自信的社会心理学研究一致。
• 信任密度分析识别出特定输入场景（尤其是对抗性样本或分布外样本）中信任度持续偏低，表明潜在的失效点。
• ResNet和EfficientNet等模型表现出不同的信任特征，NetTrustScore使它们在可信度方面得以超越标准准确率指标进行直接比较。
• 该框架成功识别出：在错误预测上表现出高置信度会显著削弱整体信任，即使准确率看起来很高。
• 这些指标具有灵活性，可应用于各种置信度表示形式，并适用于未来任务，包括自然语言处理、目标检测和时间序列预测。