[论文解读] Assessing the Reliability of Deep Learning Classifiers Through Robustness Evaluation and Operational Profiles

Xingyu Zhao, Wei Huang+5 more|arXiv (Cornell University)|Jun 2, 2021

Adversarial Robustness in Machine Learning参考文献 29被引用 4

一句话总结

该论文提出了一种模型无关的深度学习分类器可靠性评估方法，通过结合操作剖面（OP）数据与输入空间分区下的鲁棒性评估，估算每个输入的误分类概率（pmi）及其置信水平，提供了一个严谨、基于证据的框架，将鲁棒性与使用模式相结合，从而在安全关键应用中实现更可靠的可靠性评估。

ABSTRACT

The utilisation of Deep Learning (DL) is advancing into increasingly more sophisticated applications. While it shows great potential to provide transformational capabilities, DL also raises new challenges regarding its reliability in critical functions. In this paper, we present a model-agnostic reliability assessment method for DL classifiers, based on evidence from robustness evaluation and the operational profile (OP) of a given application. We partition the input space into small cells and then "assemble" their robustness (to the ground truth) according to the OP, where estimators on the cells' robustness and OPs are provided. Reliability estimates in terms of the probability of misclassification per input (pmi) can be derived together with confidence levels. A prototype tool is demonstrated with simplified case studies. Model assumptions and extension to real-world applications are also discussed. While our model easily uncovers the inherent difficulties of assessing the DL dependability (e.g. lack of data with ground truth and scalability issues), we provide preliminary/compromised solutions to advance in this research direction.

研究动机与目标

• 为解决在传统验证方法失效的安全关键系统中评估深度学习（DL）可靠性这一关键挑战。
• 开发一种模型无关的可靠性评估方法，整合操作剖面（OP）数据与基于输入空间分区的鲁棒性证据。
• 提供每个输入误分类概率（pmi）的统计基础估计及其相关置信水平。
• 识别并讨论深度学习可靠性评估中的固有困难，如数据稀缺性和可扩展性问题，同时提出初步解决方案。
• 通过原型工具和简化案例研究，证明该方法的可行性。

提出的方法

• 将输入空间在每个测试输入周围划分为小单元，以支持局部鲁棒性评估。
• 在每个输入周围的范数球（如ℓp-范数）内评估鲁棒性，使用对抗性攻击技术确定导致误分类的最小扰动。
• 使用操作剖面（OP）来加权每个单元的鲁棒性对整体可靠性估计的贡献，反映实际使用频率。
• 通过鲁棒性和OP数据推导出的单元级误分类概率的加权平均，计算可靠性估计（pmi）。
• 利用自助法（bootstrapping）技术对操作剖面和鲁棒性估计器应用，推导出pmi估计的置信区间。
• 该方法已实现于一个可在GitHub上获取的原型工具中，支持对预训练深度学习模型的端到端可靠性评估。

实验结果

研究问题

• RQ1 如何结合鲁棒性证据与操作剖面数据，以生成深度学习分类器误分类概率的可靠、模型无关的估计？
• RQ2 输入空间分区与局部鲁棒性评估对可靠性估计的准确性和置信度有何影响？
• RQ3 如何为基于有限真实标签数据和对抗性鲁棒性评估得出的可靠性估计分配置信水平？
• RQ4 评估深度学习可靠性时存在哪些固有挑战，如何通过实用的初步解决方案加以缓解？
• RQ5 与基于准确率的简单评估相比，该方法在捕捉真实世界可靠性方面有多大程度的改进？

主要发现

• 所提方法成功估算出每个输入的误分类概率（pmi）及其相关置信水平，为深度学习分类器提供了一个严谨的可靠性度量。
• 操作剖面与鲁棒性证据的整合，使得可靠性评估比仅依赖准确率更具可信度，尤其在安全关键场景中表现更优。
• 原型工具在简化案例研究中成功验证了该方法的可行性，证实了核心方法论的有效性。
• 该方法揭示了深度学习可靠性评估中的关键挑战，包括真实标签数据稀缺性以及鲁棒性评估的可扩展性问题。
• 自助法被有效用于估算pmi估计的方差与置信区间，增强了结果的统计稳健性。
• 该方法相较于对测试集鲁棒性进行简单平均更具代表性，因为它同时考虑了使用频率（OP）与局部鲁棒性。