[论文解读] Adversarial Phenomenon in the Eyes of Bayesian Deep Learning

Ambrish Rawat, Martin Wistuba+1 more|arXiv (Cornell University)|Nov 22, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用 27

一句话总结

本文通過深度神經網絡中的貝葉斯不確定性研究對抗魯棒性，提出貝葉斯神經網絡（BNNs）在對抗樣本上表現出更高的預測不確定性，類似於隨機高斯噪聲，使其成為對抗檢測的有效方法。作者使用蒙特卡洛採樣將FGSM適配至BNN，並證明互信息與預測熵等不確定性指標能可靠地識別多種BNN架構下的對抗輸入。

ABSTRACT

Deep Learning models are vulnerable to adversarial examples, i.e.\ images obtained via deliberate imperceptible perturbations, such that the model misclassifies them with high confidence. However, class confidence by itself is an incomplete picture of uncertainty. We therefore use principled Bayesian methods to capture model uncertainty in prediction for observing adversarial misclassification. We provide an extensive study with different Bayesian neural networks attacked in both white-box and black-box setups. The behaviour of the networks for noise, attacks and clean test data is compared. We observe that Bayesian neural networks are uncertain in their predictions for adversarial perturbations, a behaviour similar to the one observed for random Gaussian perturbations. Thus, we conclude that Bayesian neural networks can be considered for detecting adversarial examples.

研究动机与目标

• 探討貝葉斯神經網絡（BNNs）在對抗樣本上是否表現出相比乾淨數據更高的不確定性。
• 評估BNN是否能通過系統的不確定性量化方法區分對抗擾動與隨機噪聲。
• 評估多種貝葉斯推斷方法（如PBP、MC Dropout、VI）在不確定性指標下檢測對抗攻擊的有效性。
• 比較白盒與黑盒對抗攻擊下BNN的不確定性行為。
• 探討基於不確定性的檢測方法在安全關鍵應用中作為可靠防禦機制的潛力。

提出的方法

• 使用蒙特卡洛採樣估算參數不確定性下的預測，將快速梯度符號法（FGSM）適配至貝葉斯神經網絡。
• 採用四種不同的貝葉斯推斷方法：機率反向傳播（PBP）、蒙特卡洛Dropout（MC-Dropout）、變分推斷（VI），以及矩陣變異高斯後驗（MVN）。
• 使用三種指標量化模型不確定性：不確定性中的互信息（MUMMI）、預測熵與變異比率。
• 在MNIST上使用FGSM生成對抗樣本，擾動強度ε = 0.5，並與三種類型的隨機噪聲比較：均勻分布、像素級高斯噪聲與多變量正態分布（MVN）。
• 透過分類置信度與不確定性指標的散點圖，可視化乾淨測試數據、對抗樣本與噪聲集的不確定性圖譜。
• 使用蒙特卡洛採樣近似後驗預測分佈，並為每個輸入計算不確定性估計。

实验结果

研究问题

• RQ1 貝葉斯神經網絡在對抗樣本上的不確定性是否顯著高於乾淨測試圖像？
• RQ2 BNN在對抗擾動上的不確定性行為與在隨機高斯噪聲上的表現相比如何？
• RQ3 不同貝葉斯推斷方法（如PBP、MC-Dropout）在對抗攻擊下是否表現出一致的不確定性模式？
• RQ4 預測熵與變異比率等不確定性指標是否能有效區分對抗輸入與乾淨或噪聲數據？
• RQ5 BNN在對抗攻擊下的不確定性圖譜是否與訓練分佈外的數據點相似？

主要发现

• 貝葉斯神經網絡在對抗樣本上表現出顯著增加的不確定性（以MUMMI、預測熵與變異比率衡量），特別是在攻擊強度增加時。
• 對抗樣本的不確定性圖譜與隨機高斯噪聲高度相似，表明BNN將兩者均視為分佈外輸入。
• PBP在對抗與噪聲輸入上均表現出不確定性的顯著上升，而MC-Dropout等模型在MVN與像素級噪聲上表現不一致，可能與架構與歸一化效應有關。
• 對抗樣本與隨機噪聲在不確定性模式上的相似性支持了BNN將對抗輸入識別為與訓練數據分佈相距較遠的假設。
• 所有測試的BNN變體均顯示出隨著FGSM擾動強度增加，不確定性明顯上升的趨勢，證實了不確定性作為檢測信號的魯棒性。
• 結果表明，BNN中的不確定性量化可作為對抗樣本檢測的可靠機制，特別是當結合多種不確定性指標時。