[论文解读] Deep-RBF Networks Revisited: Robust Classification with Rejection

Pourya Habib Zadeh, Reshad Hosseini+1 more|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用 22

一句话总结

本文通過引入一種通用的公式化方法和受度量學習啟發的損失函數，重新探討深度RBF網絡，成功避免了梯度消失問題。透過基於置信度門檻的拒絕選項，該模型在MNIST數據集上對對抗性攻擊表現出極高的魯棒性，且對抗樣本向標準CNN的可轉移性極低。

ABSTRACT

One of the main drawbacks of deep neural networks, like many other classifiers, is their vulnerability to adversarial attacks. An important reason for their vulnerability is assigning high confidence to regions with few or even no feature points. By feature points, we mean a nonlinear transformation of the input space extracting a meaningful representation of the input data. On the other hand, deep-RBF networks assign high confidence only to the regions containing enough feature points, but they have been discounted due to the widely-held belief that they have the vanishing gradient problem. In this paper, we revisit the deep-RBF networks by first giving a general formulation for them, and then proposing a family of cost functions thereof inspired by metric learning. In the proposed deep-RBF learning algorithm, the vanishing gradient problem does not occur. We make these networks robust to adversarial attack by adding the reject option to their output layer. Through several experiments on the MNIST dataset, we demonstrate that our proposed method not only achieves significant classification accuracy but is also very resistant to various adversarial attacks.

研究动机与目标

• 解決深度神經網絡對對抗性攻擊的脆弱性，特別是因在數據稀疏區域產生高置信度預測所致的問題。
• 重新引入深度RBF網絡作為具線性分類器的標準深度網絡之魯棒替代方案。
• 克服長期以來認為深度RBF網絡會因梯度消失而難以訓練的觀點，提出一種新的訓練公式化方法。
• 在輸出層引入拒絕選項，透過拒絕遠離已學習類簇的輸入來增強模型魯棒性。
• 證明深度RBF網絡相較於標準CNN，對可轉移對抗樣本的敏感度更低。

提出的方法

• 提出一種使用ℓp-範數的通用深度RBF網絡公式化方法，其中RBF單元依賴於特徵空間中與學習中心的距離。
• 設計一種受度量學習啟發的損失函數（ML與SoftML），在不引發梯度消失的情況下促進類間分離與類內緊湊性。
• 引入基於置信度門檻的拒絕機制：若最大類別置信度低於門檻值，則拒絕該輸入。
• 在訓練期間引入噪音注入，以提升魯棒性並降低對抗樣本的可轉移性。
• 在MNIST實驗中使用兩層ConvNet作為特徵提取器，將輸入映射至RBF單元運作的表示空間。
• 使用帶有所提出損失函數的隨機優化方法訓練網絡，實現有效學習而無梯度飽和。

实验结果

研究问题

• RQ1 深度RBF網絡是否能有效訓練，而無需面臨梯度消失問題，與以往假設相反？
• RQ2 基於置信度的拒絕機制在多大程度上能提升對抗性攻擊下的魯棒性？
• RQ3 深度RBF網絡與標準CNN之間，對抗樣本的可轉移性有何差異？
• RQ4 訓練期間的噪音注入是否能降低對抗樣本向其他模型的可轉移性？
• RQ5 深度RBF網絡是否能在多種對抗攻擊類型下實現高分類準確率並保持強大魯棒性？

主要发现

• 所提出的深度RBF網絡在MNIST上實現了與標準CNN相當的高分類準確率，同時對對抗性攻擊表現出顯著更高的魯棒性。
• 在95%的拒絕門檻下，模型拒絕了71.5%的針對深度RBF網絡生成的對抗樣本，顯示出強大的檢測能力。
• 僅有0.55%的針對CNN設計的對抗樣本能成功欺騙深度RBF網絡，顯示極低的跨模型可轉移性。
• 訓練期間的噪音注入降低了對抗樣本的可轉移性：當應用噪音時，僅有11.5%的來自深度RBF網絡的對抗樣本能欺騙其他網絡。
• 針對L-BFGS的定向攻擊需對深度RBF網絡施加顯著更大的擾動才能成功欺騙，如對抗樣本的失真度更高所示。
• 在噪音注入與98%拒絕門檻下，深度RBF網絡拒絕了28.4%來自同一模型的對抗樣本，展現出有效的自我拒絕能力。