[论文解读] Adversarial Robustness Guarantees for Classification with Gaussian Processes

Arno Blaas, Andrea Patanè+4 more|arXiv (Cornell University)|May 28, 2019

Gaussian Processes and Bayesian Inference参考文献 34被引用 8

一句话总结

该论文提出了一种分支定界算法，通过在高斯过程分类（GPC）输出上建立解析边界，为紧凑输入集提供对抗鲁棒性保证。通过利用凸优化来界定后验均值和方差，并借助潜在空间离散化进一步优化边界，该方法可在有限时间内保证最小和最大类别概率的 $\epsilon$-接近估计，从而实现在合成数据、SPAM 和 MNIST 数据集上的鲁棒性分析与可解释性分析。

ABSTRACT

We investigate adversarial robustness of Gaussian Process Classification (GPC) models. Given a compact subset of the input space $T\subseteq \mathbb{R}^d$ enclosing a test point $x^*$ and a GPC trained on a dataset $\mathcal{D}$, we aim to compute the minimum and the maximum classification probability for the GPC over all the points in $T$. In order to do so, we show how functions lower- and upper-bounding the GPC output in $T$ can be derived, and implement those in a branch and bound optimisation algorithm. For any error threshold $ε> 0$ selected a priori, we show that our algorithm is guaranteed to reach values $ε$-close to the actual values in finitely many iterations. We apply our method to investigate the robustness of GPC models on a 2D synthetic dataset, the SPAM dataset and a subset of the MNIST dataset, providing comparisons of different GPC training techniques, and show how our method can be used for interpretability analysis. Our empirical analysis suggests that GPC robustness increases with more accurate posterior estimation.

研究动机与目标

• 为高斯过程分类（GPC）模型解决缺乏正式对抗鲁棒性保证的问题。
• 计算包含测试点的紧凑输入集上的最小和最大分类概率。
• 提供一种可在有限时间内保证收敛至 $\epsilon$-接近分类概率范围边界的算法。
• 通过基于鲁棒性的特征重要性量化输入敏感性，实现可解释性分析。
• 比较不同GPC训练技术（包括近似推理和超参数优化）的鲁棒性。

提出的方法

• 通过在离散化潜在空间上优化高斯积分，推导出GPC类别概率的解析上下界。
• 使用凸二次和线性规划，在紧凑集 $T$ 上界定GPC后验均值和方差的极值。
• 实现一种分支定界算法，递归划分输入空间并持续优化边界，直至达到 $\epsilon$-精度。
• 采用潜在空间离散化方法，计算GPC输出的紧致边界，实现可处理的全局优化。
• 将GPC后验中的不确定性传播整合到鲁棒性计算中，以获得概率性保证。
• 利用所得边界计算分类范围和敏感性度量，用于可解释性分析，并与LIME进行比较。

实验结果

研究问题

• RQ1 我们能否在紧凑输入集 $T$ 上，为GPC模型的最小和最大分类概率计算出可证明紧致的边界？
• RQ2 所提出的分支定界算法是否能在有限时间内收敛至真实分类概率范围的 $\epsilon$-接近估计？
• RQ3 近似贝叶斯推理的选择（如拉普拉斯近似与EP）如何影响GPC模型的对抗鲁棒性？
• RQ4 与基于局部线性近似的LIME等方法相比，对抗鲁棒性是否可用于提升GPC预测的可解释性？
• RQ5 训练轮数如何影响GPC模型的鲁棒性？

主要发现

• 所提方法可在有限时间内保证收敛至任意紧凑输入集上GPC分类概率的 $\epsilon$-接近边界。
• 在所有评估的数据集中，期望传播（EP）比拉普拉斯近似生成了更鲁棒的GPC模型。
• 随着训练轮数的增加，GPC的鲁棒性也随之提升，表明更优的后验估计可增强对抗韧性。
• 该方法在MNIST中识别出有意义且连续的区域：当对这些区域进行白化处理时，类别概率显著降低——例如，将一个'3'转变为'8'，验证了模型行为的合理性。
• 在SPAM数据集中，该方法正确捕捉了全局非线性关系，而LIME在Synthetic2D数据集上因依赖局部线性近似而失效。
• 当 $\gamma=2.0$ 时，所提出的可解释性度量能够捕捉全局输入-输出依赖关系，在非线性场景下优于LIME。