[论文解读] How Wrong Am I? - Studying Adversarial Examples and their Impact on Uncertainty in Gaussian Process Machine Learning Models

Kathrin Grosse, David Pfaff+2 more|arXiv (Cornell University)|Nov 17, 2017

Adversarial Robustness in Machine Learning参考文献 39被引用 6

一句话总结

本文從貝葉斯不確定性角度出發，研究高斯過程模型中的對抗性樣本，表明最先进攻擊產生的擾動會引起預測不確定性的顯著增加。即使未優化的不確定性閾值也能成功拒絕許多對抗性樣本，但這種防禦機制可被改進的攻擊繞過。

ABSTRACT

Machine learning models are vulnerable to Adversarial Examples: minor perturbations to input samples intended to deliberately cause misclassification. Current defenses against adversarial examples, especially for Deep Neural Networks (DNN), are primarily derived from empirical developments, and their security guarantees are often only justified retroactively. Many defenses therefore rely on hidden assumptions that are subsequently subverted by increasingly elaborate attacks. This is not surprising: deep learning notoriously lacks a comprehensive mathematical framework to provide meaningful guarantees. In this paper, we leverage Gaussian Processes to investigate adversarial examples in the framework of Bayesian inference. Across different models and datasets, we find deviating levels of uncertainty reflect the perturbation introduced to benign samples by state-of-the-art attacks, including novel white-box attacks on Gaussian Processes. Our experiments demonstrate that even unoptimized uncertainty thresholds already reject adversarial examples in many scenarios. Comment: Thresholds can be broken in a modified attack, which was done in arXiv:1812.02606 (The limitations of model uncertainty in adversarial settings).

研究动机与目标

• 分析對抗性擾動如何影響高斯過程模型中的預測不確定性。
• 評估不確定性估計是否可作為對抗性樣本的可靠防禦機制。
• 開發並測試針對高斯過程模型的新型白盒攻擊。
• 評估不確定性基於拒絕閾值在面對日益複雜攻擊時的魯棒性。

提出的方法

• 利用高斯過程作為貝葉斯框架，對預測中的不確定性進行建模。
• 使用預測方差量化對抗性擾動引起的不確定性變化。
• 應用最先进白盒對抗攻擊於高斯過程模型，生成擾動輸入。
• 使用不確定性閾值拒絕高不確定性輸入，評估其檢測對抗性樣本的有效性。
• 提出一種改進的攻擊策略，以繞過基於不確定性的檢測，展示此類防禦機制的脆弱性。
• 在多個數據集和高斯過程模型配置上評估性能，以確保結果的泛化能力。

实验结果

研究问题

• RQ1 對抗性擾動在多大程度上增加了高斯過程模型中的預測不確定性？
• RQ2 未優化的不確定性閾值能否有效檢測並拒絕高斯過程模型中的對抗性樣本？
• RQ3 針對高斯過程模型的新型白盒攻擊在逃避基於不確定性檢測方面的表現如何？
• RQ4 改進的攻擊是否能繞過基於不確定性的防禦機制？若是，其機制為何？
• RQ5 在對抗性環境中，將不確定性作為防禦機制存在哪些限制？

主要发现

• 在不同數據集和架構下，對抗性擾動在高斯過程模型中一致地增加了預測不確定性。
• 即使未優化的不確定性閾值也能在不重訓練模型的情況下成功拒絕大量對抗性樣本。
• 所提出的針對高斯過程模型的白盒攻擊能有效生成利用不確定性估計的對抗性樣本。
• 改進的攻擊策略成功避開了基於不確定性的拒絕機制，表明此類防禦機制對自適應攻擊者並不魯棒。
• 結果確認了基於不確定性的防禦機制易受自適應攻擊影響，與先前研究（arXiv:1812.02606）一致，突顯了單純依賴模型不確定性來實現魯棒性的固有局限。