[論文レビュー] HYDRA: Pruning Adversarially Robust Neural Networks

Vikash Sehwag, Shiqi Wang+2 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用数 31

ひとこと要約

HYDRA は剪定を、堅牢な訓練目標に導かれた経験的リスク最小化問題として再定義し、複数のデータセットと堅牢な訓練手法に跨って、良性と敵対的ロバスト性の両方を維持する非常に圧縮されたネットワークを生み出す。

ABSTRACT

In safety-critical but computationally resource-constrained applications, deep learning faces two key challenges: lack of robustness against adversarial attacks and large neural network size (often millions of parameters). While the research community has extensively explored the use of robust training and network pruning independently to address one of these challenges, only a few recent works have studied them jointly. However, these works inherit a heuristic pruning strategy that was developed for benign training, which performs poorly when integrated with robust training techniques, including adversarial training and verifiable robust training. To overcome this challenge, we propose to make pruning techniques aware of the robust training objective and let the training objective guide the search for which connections to prune. We realize this insight by formulating the pruning objective as an empirical risk minimization problem which is solved efficiently using SGD. We demonstrate that our approach, titled HYDRA, achieves compressed networks with state-of-the-art benign and robust accuracy, simultaneously. We demonstrate the success of our approach across CIFAR-10, SVHN, and ImageNet dataset with four robust training techniques: iterative adversarial training, randomized smoothing, MixTrain, and CROWN-IBP. We also demonstrate the existence of highly robust sub-networks within non-robust networks. Our code and compressed networks are publicly available at \url{https://github.com/inspire-group/compactness-robustness}.

研究の動機と目的

• さまざまな堅牢な訓練目的の下で敵対的ロバスト性を保持する剪定法を動機付ける。
• 接続性剪定を導くために堅牢な訓練損失を用いる剪定フレームワークを開発する。
• 良性精度もロバスト性も損なうことなく高いスパース性を持つ高率剪定を実現する。
• 複数のロバストネスのパラダイム（敵対的訓練、検証可能なロバスト性、ランダム化平滑化、MixTrain など）に対する一般化を示す。

提案手法

• 堅牢性を意識した損失を用いた経験的リスク最小化問題として剪定を定式化する。
• 剪定する接続を探索するために重要度スコアに基づく最適化を用いる。
• 事前訓練済みの重みに比例するように重要度スコアのスケーリング初期化を導入して剪定性能を向上させる。
• 剪定をいくつかの堅牢訓練目的と統合する（敵対的訓練、MixTrain および CROWN-IBP による検証可能なロバスト性、ランダム化平滑化）。
• 剪定後は非剪定接続のみを微調整して性能を回復させる。

実験結果

リサーチクエスチョン

• RQ1 剪定は良性訓練のヒューリスティクスに依存することなく、堅牢訓練目的を意識させることができるか。
• RQ2 堅牢性認識型剪定は、さまざまなロバスト性目的にわたって良性精度とロバスト精度の両方を損なうことなく高い圧縮を実現できるか。
• RQ3 非ロバストなネットワークの中に堅牢なサブネットワークは発見可能か、そしてさまざまなロバスト性目標の下で剪定はそれらを明らかにできるか。
• RQ4 HYDRA はデータセットとアーキテクチャ全体で、従来の堅牢性剪定法（Adv-LWM、Adv-ADMM）とどう比較されるか。
• RQ5 本手法は大規模データセット（例：ImageNet）や異なるロバスト性定式化（敵対的訓練、検証可能なロバスト性、平滑化、MixTrain など）に対してスケーラブルか。
• RQ6

主な発見

• HYDRA は CIFAR-10、SVHN、ImageNet の各データセットにおいて、従来の剪定法と比較して良性精度とロバスト性の両方を一貫して向上させる。
• 重要度スコアのスケーリング初期化は性能の主要な推進力であり、収束を速め、より良い剪定結果を可能にする。
• HYDRA は複数のアーキテクチャと剪定比において Adv-LWM および Adv-ADMM を上回り、非常に高い剪定（最大 99%）も含む。
• 本手法は4つの堅牢訓練目的に一般化する：反復的敵対的訓練、ランダム化平滑化、MixTrain、CROWN-IBP、 era および vra 指標で堅牢な向上が観察される。
• 非ロバストネットワークの中には非常に堅牢なサブネットワークが存在し、事前訓練時に全体的なロバスト性がなくても堅牢性の潜在力を示している。
• 剪定されたネットワークはより強力な攻撃下でも事前訓練済みのロバスト性を維持または超えることができ、8ビットなどさらに量子化しても損失が最小限にとどまる。