[论文解读] Adversarial Robustness Guarantees for Gaussian Processes

Andrea Patanè, Arno Blaas+4 more|arXiv (Cornell University)|Apr 7, 2021

Gaussian Processes and Bayesian Inference参考文献 44被引用 4

一句话总结

本文提出一种分支定界框架，通过在紧致输入集上界定预测范围，计算高斯过程的可证明对抗鲁棒性保证。该方法在回归和分类任务中均实现 $\epsilon$-精确收敛，对常见核函数提供解析边界，表明鲁棒性随后验估计精度的提高而增强。

ABSTRACT

Gaussian processes (GPs) enable principled computation of model uncertainty, making them attractive for safety-critical applications. Such scenarios demand that GP decisions are not only accurate, but also robust to perturbations. In this paper we present a framework to analyse adversarial robustness of GPs, defined as invariance of the model's decision to bounded perturbations. Given a compact subset of the input space $T\subseteq \mathbb{R}^d$, a point $x^*$ and a GP, we provide provable guarantees of adversarial robustness of the GP by computing lower and upper bounds on its prediction range in $T$. We develop a branch-and-bound scheme to refine the bounds and show, for any $ε> 0$, that our algorithm is guaranteed to converge to values $ε$-close to the actual values in finitely many iterations. The algorithm is anytime and can handle both regression and classification tasks, with analytical formulation for most kernels used in practice. We evaluate our methods on a collection of synthetic and standard benchmark datasets, including SPAM, MNIST and FashionMNIST. We study the effect of approximate inference techniques on robustness and demonstrate how our method can be used for interpretability. Our empirical results suggest that the adversarial robustness of GPs increases with accurate posterior estimation.

研究动机与目标

• 为在有界输入扰动下的高斯过程提供可证明的对抗鲁棒性保证。
• 解决高斯过程模型中缺乏精确鲁棒性分析的问题，尤其与神经网络相比。
• 开发一种任意时间、$\epsilon$-收敛的算法，用于计算紧致输入集上的预测范围边界。
• 评估近似推理与超参数调优对高斯过程鲁棒性的影响。
• 通过量化多样化数据集上的鲁棒性特征，实现可解释性。

提出的方法

• 该框架在包含测试点 $x^*$ 的紧致输入集 $T \subseteq \mathbb{R}^d$ 上计算高斯过程预测范围的下界与上界。
• 采用分支定界方案，通过迭代细化边界，直至在 $\epsilon$ 范围内收敛于真实极值。
• 针对每类核函数，通过将核分解为 $\varphi(x,x')$ 与 $\psi(\varphi)$ 成分，推导出解析边界函数。
• 应用核分解的加法与乘法规则，以处理复杂核函数，包括谱核与非平稳核。
• 通过在 $T$ 上对上确界进行优化，利用线性与三角函数性质计算边界函数。
• 该算法为任意时间算法——在每次迭代中均提供有效的上界近似——并保证在有限时间内实现 $\epsilon$-精确性。

实验结果

研究问题

• RQ1 我们能否在有界输入扰动下，为高斯过程提供可证明的对抗鲁棒性保证？
• RQ2 后验估计的准确性在多大程度上影响高斯过程模型的对抗鲁棒性？
• RQ3 诸如期望传播等近似推理技术在多大程度上会降低鲁棒性保证？
• RQ4 所提出的分支定界框架能否在回归与分类任务中均适用，并支持常见核函数的解析边界？
• RQ5 在 SPAM、MNIST 和 Fashion-MNIST 等数据集上，不同推理方法下的鲁棒性特征有何差异？

主要发现

• 所提方法可保证在有限时间内对任意 $\epsilon > 0$ 实现对真实预测范围极值的 $\epsilon$-精确收敛。
• 在 SPAM、MNIST 和 Fashion-MNIST 数据集上，高斯过程模型的鲁棒性随后验估计精度的提高而增强。
• 基于对抗攻击的鲁棒性估计无法检测出所提方法确认的、在扰动下保持不变的区域。
• 该框架支持常见核函数的解析边界，包括平方指数核与广义谱核。
• 与精确推理相比，期望传播导致更低的鲁棒性估计，凸显了鲁棒性对推理质量的敏感性。
• 该方法通过识别在有界扰动下预测结果可证明不变的输入区域，实现了可解释性。