[論文レビュー] Comment on "Biologically inspired protection of deep networks from adversarial attacks"

Wieland Brendel, Matthias Bethge|arXiv (Cornell University)|Apr 5, 2017

Adversarial Robustness in Machine Learning参考文献 2被引用数 24

ひとこと要約

この論文は、高飽和度の深層ニューラルネットワークが勾配ベースの adversarial 攻撃に対して本質的に頑健であるという主張に挑戦する。実際の頑健性は勾配計算における数値的不安定性に起因するものであり、真の耐性ではなく、単純な勾配安定化技術によって、こうしたネットワークに対する効果的な adversarial 攻撃が回復されることを示している。

ABSTRACT

A recent paper suggests that Deep Neural Networks can be protected from gradient-based adversarial perturbations by driving the network activations into a highly saturated regime. Here we analyse such saturated networks and show that the attacks fail due to numerical limitations in the gradient computations. A simple stabilisation of the gradient estimates enables successful and efficient attacks. Thus, it has yet to be shown that the robustness observed in highly saturated networks is not simply due to numerical limitations.

研究の動機と目的

• 高飽和度の深層ニューラルネットワークが勾配ベースの adversarial 攻撃に対して真に頑健かどうかを調査すること。
• 先行研究で観察された頑健性が、勾配計算における数値的制限に起因しているかどうかを検討すること。
• 飽和ネットワークに対して効果的な攻撃が可能となる安定化された勾配推定法を開発・検証すること。
• adversarial マシンラーニングの評価において、数値的不安定性と真の頑健性を混同するリスクを浮き彫りにすること。

提案手法

• 活性化関数としてシグモイド関数および ReLU を使用する3層のマルチレイヤーパーセプトロン（MLP）を、飽和ペナルティを導入するか否かで訓練し、活性化を飽和非線形領域に誘導する。
• ナーブな勾配推定と安定化された勾配推定の両方を用いて、Fast Gradient Sign Method（FGSM）を適用し、adversarial 例を生成する。
• シグモイド非線形性のゲインを低減することで、勾配安定性を向上させつつ活性化飽和を維持する、修正版 FGSM を使用する。
• 勾配要素の分布を分析し、飽和ネットワークにおけるゼロ勾配および数値的に不安定な勾配の割合を定量化する。
• 非ゼロ勾配の割合に基づいて攻撃成功率を評価し、数値的安定性と相関をとる。
• 読み出し層の活性化を縮小することで、ReLU ネットワークに対しても同様の安定化を実現し、攻撃を拡張する。

実験結果

リサーチクエスチョン

• RQ1 飽和 DNN が FGSM 攻撃に対して示す頑健性は、勾配計算における数値的不安定性に起因しているか？
• RQ2 安定化された勾配推定は、高飽和度ネットワークに対して効果的な adversarial 例を生成できるか？
• RQ3 非ゼロ勾配の割合が、飽和ネットワークにおける FGSM 攻撃成功率にどの程度相関しているか？
• RQ4 先行研究（例：[1]）で観察された頑健性は、実装固有の数値的制限に起因する誤謬ではないか？
• RQ5 勾配推定が安定化された場合、活性化が飽和しているネットワークに対しても勾配ベース攻撃を信頼性高く適用できるか？

主な発見

• 飽和シグモイドネットワークでは、勾配要素の98.2％以上が正確にゼロであり、残りの部分は通常のネットワークと比較して16桁小さい値を示しており、深刻な数値的不安定性が確認された。
• ナーブな FGSM 攻撃は、不安定またはゼロの勾配に依存するため、飽和ネットワークでは失敗し、シグモイド MLP では96.6％の頑健性率を示した。
• シグモイドのゲインを低減することで達成される安定化された勾配推定により、FGSM 攻撃が回復され、同じ飽和シグモイド MLP では頑健性がわずか1.7％に低下した。
• ReLU ベースの飽和ネットワークに対しても、読み出し層の活性化を縮小することで同様の攻撃を実行し、頑健性を98.0％から8.4％に低下させた。
• 攻撃成功率は非ゼロ勾配の割合と強く相関しており、高飽和度に起因する勾配のゼロ化が進むと著しく低下した。
• これらの結果から、先行研究で観察された頑健性は、本質的保護ではなく、数値的制限に起因する可能性が高く、真の頑健性の指標としては適切でないことが示唆された。