[論文レビュー] Biologically inspired protection of deep networks from adversarial attacks

Aran Nayebi, Surya Ganguli|arXiv (Cornell University)|Mar 27, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 98

ひとこと要約

本論文は、生物学に触発された訓練スキームを提案し、ネットワークを非線形で飽和した regime に押し込むことで、勾配ベースの敵対的攻撃に intrinsic に抵抗するようにし、 adversarial training なしで MNIST における最先端の頑健性を達成する。

ABSTRACT

Inspired by biophysical principles underlying nonlinear dendritic computation in neural circuits, we develop a scheme to train deep neural networks to make them robust to adversarial attacks. Our scheme generates highly nonlinear, saturated neural networks that achieve state of the art performance on gradient based adversarial examples on MNIST, despite never being exposed to adversarially chosen examples during training. Moreover, these networks exhibit unprecedented robustness to targeted, iterative schemes for generating adversarial examples, including second-order methods. We further identify principles governing how these networks achieve their robustness, drawing on methods from information geometry. We find these networks progressively create highly flat and compressed internal representations that are sensitive to very few input dimensions, while still solving the task. Moreover, they employ highly kurtotic weight distributions, also found in the brain, and we demonstrate how such kurtosis can protect even linear classifiers from adversarial attack.

研究の動機と目的

• 非線形樹状突起計算に触発された頑健な対 adversarial 防御の動機づけ。
• ネットワークを飽和した領域へ導く実用的な訓練スキームを開発する。
• 飽和が内部表現と幾何に与える影響を分析し、頑健性をもたらす。
• 頑健性に関連する重み分布の性質（高い尖度）を特定し、単純な分類器における線形機構を含む。

提案手法

• 非線形性の飽和領域で活性化を動作させることを促す飽和ペナルティを設計する。
• 標準の最適化（Adam）と統合した訓練中、読み出し層を含む全層に対してアニールされたペナルティを適用する。
• 線形領域を抑制するため、飽和正則化項と組み合わせたクロスエントロピーに基づく目的関数を用いる。
• 勾配ベースの敵対手法（fast gradient sign method）および反復的二次手法に対する頑健性を評価する。
• MNIST 上で、シグモイド MLP、ReLU MLP、そして CNN アーキテクチャに対して、通常のネットワーク、敵対的訓練済み、および飽和ネットワークを比較する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練なしで、生物学的に触発された飽和 regime が深いネットワークの innate Robustness を向上させられるか？
• RQ2 飽和ネットワークに現れる内部表現と幾何学的特性は頑健性の基盤となるのか？
• RQ3 脳ネットワークに似た高い重みの尖度分布は敵対的防御に寄与するのか？
• RQ4 飽和ネットワークは反復的および二次的敵対手法に対して、標準的な防御と比較してどうなるか？
• RQ5 飽和ネットワークで見られる頑健性は、異なるアーキテクチャ（MLP の変種と CNN）間で移植可能か？

主な発見

Training	Sigmoid MLP (Test Accuracy, Adversarial Accuracy)	ReLU MLP (Test Accuracy, Adversarial Accuracy)	CNN (Test Accuracy, Adversarial Accuracy)
通常の	97.6% 0%	98.1% 0.41%	99.35% 5.62%
敵対的	92.27% 81.71%	92.29% 91.04%	99.32% 83.83%
飽和	97.01% 94.43%	95.24% 94.59%	99.33% 98.45%

• 飽和ネットワークは、勾配ベースの MNIST 敵対的例に対して、クリーンなテスト精度の大幅な低下なしに 2–7% の誤り率を達成する。
• 飽和ネットワークは MNIST 設定における敵対的な例で adversarially trained 相手を上回る。
• 飽和ネットワークの重みは過剰尖度が高く、頑健性と関連する脳様の特性を示す。
• 内部表現はクラスごとに高度にクラスタリングされ、層を越えて分離が進み、入力-出力写像は平坦になる。
• 情報幾何学的解析は、飽和ネットワークが平坦で低次元の入力-出力関数を持ち、感度方向を制約する特異値パターンを示す。
• 重みの尖度は、線形分類器においても独立して頑健性を付与し得る。