[論文レビュー] Sparse DNNs with Improved Adversarial Robustness

Yiwen Guo, Chao Zhang+2 more|arXiv (Cornell University)|Oct 23, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 57

ひとこと要約

本論文は、重み接続と活性化のスパーシティが線形分類器と非線形DNNの敵対的ロバスト性に与える影響を分析し、適切なスパーシティが非線形モデルにおける l_infty および l_2 攻撃に対するロバスト性を向上させる可能性があることを示す。理論的境界と MNIST および CIFAR-10 に対する実証的なプルーニング実験を組み合わせている。

ABSTRACT

Deep neural networks (DNNs) are computationally/memory-intensive and vulnerable to adversarial attacks, making them prohibitive in some real-world applications. By converting dense models into sparse ones, pruning appears to be a promising solution to reducing the computation/memory cost. This paper studies classification models, especially DNN-based ones, to demonstrate that there exists intrinsic relationships between their sparsity and adversarial robustness. Our analyses reveal, both theoretically and empirically, that nonlinear DNN-based classifiers behave differently under $l_2$ attacks from some linear ones. We further demonstrate that an appropriately higher model sparsity implies better robustness of nonlinear DNNs, whereas over-sparsified models can be more difficult to resist adversarial examples.

研究の動機と目的

• 線形および非線形DNNを含む分類器におけるスパーシティとロバストネスの内在的な関係を調査する。
• l_infty および l_2 攻撃下でのロバスト性を定量化する指標を開発する。
• 線形および非線形モデルにおけるスパーシティとロバストネスを結ぶ理論的境界を提供する。
• MNIST および CIFAR-10 におけるプルーニングと活性化スパーシティが敵対的耐性に与える影響を経験的に検証する。

提案手法

• 線形および多クラス線形分類器のロバストネス指標 r_infty および r_2 を定義する。
• 線形モデルにおける重みのスパーシティが r_infty および r_2 に与える影響を示す理論的関係を導出する。
• 局所リプシッツ定数と活性化/重みのスパーシティを用いて非線形DNNへ分析を拡張する。
• プルーニング戦略と l1 活性化正則化を提案・適用し、ロバストネスを実験的に評価する。
• モデル間でのロバストネスを測るため、敵対的攻撃（FGS, DeepFool, C&W, rFGS）を実施する。
• MNIST（2クラスおよび多クラス）と CIFAR-10 を LeNet、VGG風、ResNet アーキテクチャで評価する。

実験結果

リサーチクエスチョン

• RQ1 線形分類器における重みのスパーシティは、l_infty および l_2 の敵対的攻撃へのロバストネスにどのように影響するか。
• RQ2 非線形DNNは、異なるアーキテクチャやデータセット全体で、重みと活性化のスパーシティを高めることで一貫したロバストネス向上を示すか。
• RQ3 ネットワークのスパーシティに関連して、ロバストネス指標を制限する理論的関係は何か。
• RQ4 プルーニングと活性化正則化は、精度低下前後でモデルのロバストネスにどのような影響を与えるか。

主な発見

• 線形の二値/多クラス分類器では、より高い重みスパーシティは l_infty ロバストネス (r_infty) を改善する可能性があるが、r_2 ロバストネスを改善するとは限らない。
• 非線形DNNは、しきい値レベルまでのスパーシティの増加で、l_infty および l_2 攻撃のいずれに対しても一貫したロバストネス向上を示す。
• l1 正則化による活性化スパーシティも、特定のスパーシティ範囲で高いロバストネスと相関する。
• 過度のプルーニングは、良性精度が低下する前に敵対的ロバストネスが急落する。
• 極端にスパースな既製のスパースモデルは、密な counterparts より敵対的攻撃に脆弱になり得る。
• 理論的な結果は、局所リプシッツ定数とスパーシティを非線形ネットワークのロバストネス境界と結びつける。