[论文解读] Make Sure You're Unsure: A Framework for Verifying Probabilistic Specifications

Leonard Berrada, Sumanth Dathathri+6 more|arXiv (Cornell University)|Feb 18, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新颖的框架，用于通过使用函数型乘子（即依赖于网络中间层激活的函数）推广拉格朗日对偶性，来验证神经网络中的概率规范，从而实现精确、可靠且完备的验证。该方法显著提升了贝叶斯网络和蒙特卡洛丢弃网络在对抗鲁棒性和分布外（OOD）检测方面的认证保证，认证AUC最高达到29%（用于OOD检测），在MNIST数据集上实现74.6%的ℓ∞鲁棒准确率。

ABSTRACT

Most real world applications require dealing with stochasticity like sensor noise or predictive uncertainty, where formal specifications of desired behavior are inherently probabilistic. Despite the promise of formal verification in ensuring the reliability of neural networks, progress in the direction of probabilistic specifications has been limited. In this direction, we first introduce a general formulation of probabilistic specifications for neural networks, which captures both probabilistic networks (e.g., Bayesian neural networks, MC-Dropout networks) and uncertain inputs (distributions over inputs arising from sensor noise or other perturbations). We then propose a general technique to verify such specifications by generalizing the notion of Lagrangian duality, replacing standard Lagrangian multipliers with "functional multipliers" that can be arbitrary functions of the activations at a given layer. We show that an optimal choice of functional multipliers leads to exact verification (i.e., sound and complete verification), and for specific forms of multipliers, we develop tractable practical verification algorithms. We empirically validate our algorithms by applying them to Bayesian Neural Networks (BNNs) and MC Dropout Networks, and certifying properties such as adversarial robustness and robust detection of out-of-distribution (OOD) data. On these tasks we are able to provide significantly stronger guarantees when compared to prior work -- for instance, for a VGG-64 MC-Dropout CNN trained on CIFAR-10, we improve the certified AUC (a verified lower bound on the true AUC) for robust OOD detection (on CIFAR-100) from $0\% ightarrow 29\%$. Similarly, for a BNN trained on MNIST, we improve on the robust accuracy from $60.2\% ightarrow 74.6\%$. Further, on a novel specification -- distributionally robust OOD detection -- we improve the certified AUC from $5\% ightarrow 23\%$.

研究动机与目标

• 解决神经网络中概率规范缺乏形式化验证方法的问题，尤其是在权重或输入存在随机性的情况下。
• 支持对依赖于输出分布的性质进行验证，例如不确定性下的期望行为或分布鲁棒的OOD检测。
• 提供一种通用且理论严谨的框架，支持对验证无关模型实现精确（可靠且完备）和可计算的实际验证。
• 通过利用概率约束的结构并引入函数型乘子，超越以往方法中常见的平凡或微弱保证。

提出的方法

• 通过将标量拉格朗日乘子替换为依赖于中间层激活的函数型乘子，推广标准拉格朗日对偶性。
• 推导出一个对偶优化问题，其中函数型乘子被优化以收紧规范违反的上界，从而实现可靠且完备的验证。
• 通过将函数型乘子限制为特定形式（例如线性或参数化函数），开发实用算法，实现基于梯度的高效优化。
• 与边界传播技术（如IBP或LBP）集成，以处理贝叶斯网络和MC-Dropout网络中由随机性引发的双线性运算。
• 采用两阶段优化：外层循环通过Adam优化函数型乘子，内层循环执行对抗攻击或边界传播以计算最坏情况下的违反程度。
• 将该框架应用于验证在输入扰动或分布偏移下的属性，如对抗鲁棒性和OOD检测。

实验结果

研究问题

• RQ1 我们能否开发一种通用框架，用于验证神经网络中的概率规范，同时考虑权重和输入中的不确定性？
• RQ2 拉格朗日对偶性如何通过使用函数型乘子而非标量乘子，扩展以处理概率分布之间的约束？
• RQ3 函数型乘子在多大程度上能够实现对随机神经网络中概率属性的精确验证（即可靠且完备）？
• RQ4 该框架能否为对抗鲁棒性和OOD检测等任务提供显著强于以往方法的认证保证？
• RQ5 在新型规范（如输入扰动来自整个分布集合的分布鲁棒OOD检测）下，该框架表现如何？

主要发现

• 对于在CIFAR-10上训练的VGG-64 MC-Dropout卷积神经网络（未进行验证感知训练），在CIFAR-100上的鲁棒OOD检测认证AUC从0%提升至29%。
• 对于在MNIST上训练的贝叶斯神经网络，使用所提框架后，认证ℓ∞鲁棒准确率从60.2%提升至74.6%。
• 在一项新的分布鲁棒OOD检测规范下，认证AUC从5%提升至23%，表明该方法在新型复杂概率属性上的强大能力。
• 即使采用简单的函数型乘子选择，该方法仍优于以往方法，后者在随机设置下常产生平凡的保证。
• 该框架在验证无关模型上实现了强大的验证性能，表明其可在不修改网络架构的前提下后训练应用。
• 该方法可扩展至更大模型，验证时间随模型规模增加，但仍能提供有意义的认证边界——例如，在CIFAR-100上对VGG-64的验证耗时8.5k秒。