[论文解读] Towards the Quantification of Safety Risks in Deep Neural Networks

Peipei Xu, Wenjie Ruan+1 more|arXiv (Cornell University)|Sep 13, 2020

Adversarial Robustness in Machine Learning参考文献 51被引用 5

一句话总结

本文提出 DeepQuant，一种通过在统一的安全属性上基于利普希茨（Lipschitz）度量建模风险，对深度神经网络（DNN）中的安全风险进行量化的一般性框架。该方法引入了不确定性样本——即靠近决策边界的输入，在人类看来清晰明确，但网络却表现出高度不确定性。通过基于 GPU 张量并行化的无导数优化方法，实现了高效且可扩展的计算，在 MNIST、CIFAR-10 和 ImageNet 模型上均实现了紧密的鲁棒性与不确定性量化。

ABSTRACT

Safety concerns on the deep neural networks (DNNs) have been raised when they are applied to critical sectors. In this paper, we define safety risks by requesting the alignment of the network's decision with human perception. To enable a general methodology for quantifying safety risks, we define a generic safety property and instantiate it to express various safety risks. For the quantification of risks, we take the maximum radius of safe norm balls, in which no safety risk exists. The computation of the maximum safe radius is reduced to the computation of their respective Lipschitz metrics - the quantities to be computed. In addition to the known adversarial example, reachability example, and invariant example, in this paper we identify a new class of risk - uncertainty example - on which humans can tell easily but the network is unsure. We develop an algorithm, inspired by derivative-free optimization techniques and accelerated by tensor-based parallelization on GPUs, to support efficient computation of the metrics. We perform evaluations on several benchmark neural networks, including ACSC-Xu, MNIST, CIFAR-10, and ImageNet networks. The experiments show that, our method can achieve competitive performance on safety quantification in terms of the tightness and the efficiency of computation. Importantly, as a generic approach, our method can work with a broad class of safety risks and without restrictions on the structure of neural networks.

研究动机与目标

• 为解决在安全关键系统中应用深度神经网络（DNN）时，缺乏一种通用、可扩展且可验证的多样化安全风险量化方法的问题。
• 定义一种可实例化为多种风险类型（包括对抗性、可达性、不变性及不确定性风险）的通用安全属性表达方式。
• 开发一种高效、可扩展且可验证的方法，用于计算给定输入周围最大安全范数球半径，确保该半径内不存在任何安全风险。
• 系统性地识别并形式化一类新的安全风险——不确定性样本，即人类感知清晰但 DNN 输出高度不确定的情况。
• 实现对大规模 DNN（包括 ImageNet 上的最先进模型）的实际安全评估，具备理论保证且结果紧密可靠。

提出的方法

• 定义一种基于 DNN 输出参数化的通用安全属性，可实例化为表达多种风险类型（如对抗性、可达性、不变性及不确定性风险）的形式。
• 将安全风险量化为在给定输入周围、不存在任何风险的最大 Lp-范数球半径，基于安全属性的利普希茨常数进行保守估计。
• 将最大安全半径的计算形式化为一个优化问题，以最小化利普希茨度量，采用受随机搜索方法启发的无导数优化算法。
• 通过基于张量的 GPU 并行化加速计算，实现对具有复杂架构和激活函数的大规模模型的高效扩展。
• 使用 DNN 输出分布与均匀分布之间的 KL 散度作为度量，以检测并量化不确定性样本。
• 在 GitHub 上开源 DeepQuant 工具，支持在 MNIST、CIFAR-10 和 ImageNet 模型上使用 L∞-范数及其他范数进行评估。

实验结果

研究问题

• RQ1 能否开发一个统一框架，用于量化 DNN 中的多样化安全风险，包括已知和新型风险类型？
• RQ2 如何为给定输入和 DNN 高效且保守地计算最大安全范数球半径，同时提供理论保证？
• RQ3 网络深度和架构对安全风险量化（尤其是不确定性）有何影响？
• RQ4 能否系统性地检测并量化不确定性样本（即人类确定但 DNN 混乱的情况）？
• RQ5 所提出的方法在大规模真实 DNN（如 ImageNet 中使用的模型）上是否具备可扩展性？其性能与现有方法相比如何？

主要发现

• DeepQuant 通过最小化网络输出分布与均匀分布之间的 KL 散度，成功识别并量化了此前未被探索的不确定性样本，揭示了模型高不确定性区域。
• 在 MNIST 上，该方法实现了从 32.16（DNN-2）到 77.48（DNN-6）的平均 L∞-范数鲁棒性值，其中 DNN-4 和 DNN-5 在准确率（99.06–99.16%）与鲁棒性之间表现出良好平衡。
• 对于 CIFAR-10 和 ImageNet 模型，DeepQuant 通过 GPU 加速的张量并行化展现出良好的可扩展性与效率，支持对大规模网络的评估。
• 不确定性量化结果表明，随着范数球半径增大，不确定性显著上升，DNN-1 和 DNN-2 在 d=0.15 时表现出明显更差的不确定性。
• 在不确定性搜索过程中生成的中间图像显示出模糊性逐步增加，KL 散度降低至零，表明在最优扰动下模型达到完全混淆状态。
• DeepQuant 是首个能够自动且深入揭示不确定性样本的工具，为安全评估开辟了超越对抗鲁棒性的新维度。