[论文解读] A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples

Julia Lust, Alexandru Paul Condurache|arXiv (Cornell University)|Aug 21, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本综述将深度神经网络（DNN）可靠性中的三个关键方面——预测不确定性、分布外检测和对抗样本检测——统一于评估DNN泛化包络的共同框架之下。该文提出，这三个问题的根源相同：由于特征空间可分性不足导致泛化能力差，并主张在这些领域采用统一的评估与方法论路径，以提升DNN在推理阶段的信任度。

ABSTRACT

Deep Neural Networks (DNNs) achieve state-of-the-art performance on numerous applications. However, it is difficult to tell beforehand if a DNN receiving an input will deliver the correct output since their decision criteria are usually nontransparent. A DNN delivers the correct output if the input is within the area enclosed by its generalization envelope. In this case, the information contained in the input sample is processed reasonably by the network. It is of large practical importance to assess at inference time if a DNN generalizes correctly. Currently, the approaches to achieve this goal are investigated in different problem set-ups rather independently from one another, leading to three main research and literature fields: predictive uncertainty, out-of-distribution detection and adversarial example detection. This survey connects the three fields within the larger framework of investigating the generalization performance of machine learning methods and in particular DNNs. We underline the common ground, point at the most promising approaches and give a structured overview of the methods that provide at inference time means to establish if the current input is within the generalization envelope of a DNN.

研究动机与目标

• 解决在推理阶段确定深度神经网络（DNN）能否对未见过的输入正确泛化的关键挑战。
• 将三个孤立的研究领域——预测不确定性、分布外检测和对抗样本检测——统一于评估DNN泛化包络的共同目标之下。
• 识别泛化失败的共同根本原因，如特征空间可分性差和预测过度自信。
• 提供一种结构化、对比性的推理阶段方法综述，用于检测输入是否位于DNN的泛化区域之内。
• 倡导跨领域评估与方法整合，尤其强调基于度量的方法在多任务泛化检测中最具前景。

提出的方法

• 将现有的推理阶段方法分类并映射至三个领域：预测不确定性（靠近决策边界）、分布外检测（远离训练数据）和对抗样本检测（被操纵的输入）。
• 分析其共同根源：当特征表示无法有意义地区分输入时，即使输入差异显著，DNN也会出现泛化失败。
• 提出统一框架，将泛化检测视为判断输入是否位于训练数据的分布和结构范围之内的过程。
• 基于方法检测输入是否位于泛化包络之外的能力进行评估，强调分析特征空间距离的基于度量的方法。
• 指出Softmax层置信度分数存在过度自信的局限性，并主张通过特征层面分析实现替代性不确定性估计。
• 整合信息流分析与分布建模的洞见，以提升在多种失败模式下的检测鲁棒性。

实验结果

研究问题

• RQ1 在预测不确定性、分布外检测和对抗样本检测中，DNN泛化失败的共同根本原因是什么？
• RQ2 当前的推理阶段检测方法在识别位于DNN泛化包络之外的输入方面，其能力有何差异？
• RQ3 由于存在共同的根本原因，是否可将某一领域（如对抗检测）中开发的方法推广至其他领域（如分布外检测）？
• RQ4 为何传统DNN置信度分数（如Softmax概率）无法可靠指示泛化失败？
• RQ5 在方法类别中——尤其是基于度量或不一致性——哪一类在统一的泛化包络检测中最具前景？

主要发现

• 三个研究领域——预测不确定性、分布外检测和对抗样本检测——具有共同的根本原因：由于特征空间可分性差而导致泛化失败。
• 传统DNN置信度分数（如Softmax概率）往往过度自信，因此作为泛化性能指标并不可靠。
• 基于度量的方法（通过分析特征空间距离）在多种检测任务中表现优异，包括分布外检测和对抗样本检测。
• 基于不一致性的方法也具有潜力，但在多任务检测场景中效果不如基于度量的方法。
• 尽管已有显著进展，目前尚无单一方法在所有三种检测设置中均达到最优性能，且跨领域评估仍有限。
• 综述结论认为，未来研究应优先关注统一的评估框架与方法整合，尤其应利用对抗样本检测的洞见，以实现更广泛的泛化监控。