[論文レビュー] Neural Networks with Structural Resistance to Adversarial Attacks

Luca de Alfaro|arXiv (Cornell University)|Sep 25, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用数 5

ひとこと要約

この論文は、ℓ∞ノルムと個々の入力スケーリングを用いた径数基底関数ユニット（RBFIユニット）を導入し、敵対的攻撃に対して内在的に耐性を持つニューラルネットワークを実現する。標準勾配で訓練が極めて困難な非線形性を有するが、PGD攻撃における強いℓ∞ノルム条件下でも90%以上の精度を維持する。一方、ReLUやシグモイドネットワークは同様の条件下で2%未満に低下する。これは敵対的例を用いた訓練を一切行わずに、標準データでの学習のみで達成された。

ABSTRACT

In adversarial attacks to machine-learning classifiers, small perturbations are added to input that is correctly classified. The perturbations yield adversarial examples, which are virtually indistinguishable from the unperturbed input, and yet are misclassified. In standard neural networks used for deep learning, attackers can craft adversarial examples from most input to cause a misclassification of their choice. We introduce a new type of network units, called RBFI units, whose non-linear structure makes them inherently resistant to adversarial attacks. On permutation-invariant MNIST, in absence of adversarial attacks, networks using RBFI units match the performance of networks using sigmoid units, and are slightly below the accuracy of networks with ReLU units. When subjected to adversarial attacks, networks with RBFI units retain accuracies above 90% for attacks that degrade the accuracy of networks with ReLU or sigmoid units to below 2%. RBFI networks trained with regular input are superior in their resistance to adversarial attacks even to ReLU and sigmoid networks trained with the help of adversarial examples. The non-linear structure of RBFI units makes them difficult to train using standard gradient descent. We show that networks of RBFI units can be efficiently trained to high accuracies using pseudogradients, computed using functions especially crafted to facilitate learning instead of their true derivatives. We show that the use of pseudogradients makes training deep RBFI networks practical, and we compare several structural alternatives of RBFI networks for their accuracy.

研究の動機と目的

• 標準活性化関数に由来する局所的線形性が原因で生じる深層ニューラルネットワークの根本的脆弱性に対処すること。
• 敵対的訓練や複雑な正則化に依存せずに、内在的に敵対的攻撃に対して耐性を持つニューラルネットワークアーキテクチャを開発すること。
• 非微分可能成分における消失勾配の課題を克服し、擬似勾配を用いて高次元非線形ネットワークを効果的に訓練できること。
• RBFIベースのネットワークの敵対的攻撃に対する耐性と精度を、標準的な攻撃に対して評価すること。特にReLUおよびシグモイドネットワークとの比較を目的とする。
• 特にℓ∞ノルムに基づくRBFユニットによる構造的非線形性が、敵対的条件下での精度と耐性の両面で標準アーキテクチャを上回る可能性を検討すること。

提案手法

• 径数基底関数とは異なるが、ℓ∞ノルムと個々の入力スケーリングを用いることで多入力線形性を破る、新しいネットワークユニットタイプとしてRBFIユニットを提案する。
• 非微分可能成分（例：最大値演算子やガウス関数における指数関数）に対して、人工的に定義された勾配（擬似勾配）を用い、滑らかでないユニットに対してもバックプロパゲーションを可能にする。
• 深層RBFIネットワークを効果的に学習させるために、二乗誤差損失とAdaDelta最適化を組み合わせた修正損失関数を採用する。
• 高$ u $-バウンドRBFIネットワークの耐性を向上させるために、ハイパーパrameter $ c $ を用いた正則化スキームを導入する。
• 敵対的訓練を含むさまざまなアーキテクチャと学習環境において、RBFIネットワークとReLU・シグモイドネットワークを比較する。
• 方程式 (7) と (8) から導かれる感度境界を用いて理論的耐性を分析するが、実際の結果よりも予測精度が低かった。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃に対して、敵対的訓練を一切行わず、内在的な非線形性を持つニューラルネットワークアーキテクチャを設計できるか？
• RQ2 径数基底関数にℓ∞ノルムを用いることで、標準のℓ2ベースRBFやReLU・シグモイドユニットと比較して、敵対的耐性がどのように向上するか？
• RQ3 擬似勾配を用いることで、非微分可能活性化成分を有する深層ネットワークの効果的訓練がどの程度可能になるか？
• RQ4 RBFIユニットによる構造的耐性は、未知の攻撃への一般化性能を考慮した場合、敵対的訓練を上回るか？
• RQ5 深さ、幅、正則化などのアーキテクチャ的選択が、RBFIネットワークの耐性と精度に与える影響はどの程度か？

主な発見

• PGD攻撃におけるℓ∞ノルムが3の条件下でも、RBFIネットワークは90%以上のテスト精度を維持するが、ReLUおよびシグモイドネットワークは同様の条件下で2%未満に低下する。
• 敵対的例を一切使用せずに標準データでの学習のみで行なったにもかかわらず、RBFIネットワークは敵対的微調整を施したReLUおよびシグモイドネットワークを上回り、構造的耐性を示した。
• 128-128-128-128-128-10のRBFIネットワークは20エポックで95.53%の精度を達成したが、同等のシグモイドネットワークは有効に学習できず、わずか11.24%の精度に留まった。
• 正則化パrameter $ c = 0.0001 $ を用いることで、高$ u $-バウンドRBFIネットワークの感度境界は1,072.90から231.90に低下し、精度の著しい損失を伴わず耐性が向上した。
• 方程式 (7) と (8) を用いて計算された感度境界は、実際の耐性を予測するのに不適切であった。特に、高感度境界を持つReLUネットワークも、単純なFGSM攻撃では失敗した。
• RBFのより均一なノルム構造にもかかわらず、RBFIユニットは訓練安定性および耐性の両面で標準RBFユニットを上回った。これは、ℓ∞に基づく非線形性が敵対的耐性により効果的であることを示唆している。