[論文レビュー] Towards Compact and Robust Deep Neural Networks

Vikash Sehwag, Shiqi Wang+2 more|arXiv (Cornell University)|Jun 14, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用数 22

ひとこと要約

本稿では、モデル圧縮中に悪意ある攻撃に対する精度とロバスト性の両方を保持する、新しいプルーニングフレームワークを提案する。事前学習と微調整の目的関数を敵対的ロバスト性に合わせ、ロバスト性に無関係なプルーニング戦略を用いることで、CIFAR-10で10倍の圧縮率において、93%の良性精度、92.5%の実証的ロバスト精度、85%の検証可能なロバスト精度を達成した。

ABSTRACT

Deep neural networks have achieved impressive performance in many applications but their large number of parameters lead to significant computational and storage overheads. Several recent works attempt to mitigate these overheads by designing compact networks using pruning of connections. However, we observe that most of the existing strategies to design compact networks fail to preserve network robustness against adversarial examples. In this work, we rigorously study the extension of network pruning strategies to preserve both benign accuracy and robustness of a network. Starting with a formal definition of the pruning procedure, including pre-training, weights pruning, and fine-tuning, we propose a new pruning method that can create compact networks while preserving both benign accuracy and robustness. Our method is based on two main insights: (1) we ensure that the training objectives of the pre-training and fine-tuning steps match the training objective of the desired robust model (e.g., adversarial robustness/verifiable robustness), and (2) we keep the pruning strategy agnostic to pre-training and fine-tuning objectives. We evaluate our method on four different networks on the CIFAR-10 dataset and measure benign accuracy, empirical robust accuracy, and verifiable robust accuracy. We demonstrate that our pruning method can preserve on average 93\% benign accuracy, 92.5\% empirical robust accuracy, and 85.0\% verifiable robust accuracy while compressing the tested network by 10$ imes$.

研究の動機と目的

• 既存のネットワークプルーニング手法がモデル圧縮中に敵対的ロバスト性を保持できないというギャップに対処すること。
• 事前学習でロバストに訓練されたネットワークをプルーニングした後、自然な学習目的で微調整することでロバスト性が維持されるかどうかを調査すること。
• 事前学習でロバストなネットワークをプルーニングする手法が、スクラッチからコンパクトなネットワークを訓練するのと比較して優位性を示すかどうかを評価すること。
• 微調整なしでのプルーニングがロバスト性に与える影響を分析し、標準的なプルーニングパイプラインにおける失敗モードを同定すること。
• 事前学習、プルーニング、微調整の各段階で訓練目的を一致させることで、圧縮下でのロバスト性の維持が不可欠であることを示すこと。

提案手法

• 目的関数の整合性に重点を置いた、事前学習、反復的プルーニング、微調整を含む構造化されたプルーニングパイプラインを提案。
• 微調整の目的関数を、事前学習段階で使用された敵対的ロバスト性または検証可能なロバスト性の目的関数に一致させる。
• マグニチュードベースのプルーニングを用いるが、訓練目的とは分離された、ロバスト性に無関係なプルーニング戦略を採用。
• 非構造的および構造的プルーニングを併用し、異なる圧縮パターンにおける一般化性能を評価。
• 事前学習段階でMixTrainのようなロバストトレーニング技術を適用し、プルーニングの前段階で初期のロバスト性を確保。
• 微調整段階で自然な学習またはロバストな学習目的を使用して、ロバスト性の維持を評価。

実験結果

リサーチクエスチョン

• RQ1 自然な重みの大きさに基づくプルーニングを、事前にロバストに訓練されたネットワークに適用した場合、敵対的ロバスト性は保持されるか？
• RQ2 自然な学習目的で微調整することで、ロバストに事前学習されたモデルをプルーニングした後でもロバスト性は維持されるか？
• RQ3 事前学習段階と微調整段階の目的関数を一致させることで、圧縮過程におけるロバスト性の維持にどのような影響を与えるか？
• RQ4 プルーニングベースの圧縮と、コンパクトなネットワークをスクラッチから訓練する手法を比較した場合、ロバスト性と精度の面でどう異なるか？
• RQ5 本手法を用いることで、高い圧縮比（例：10倍）においてどの程度のロバスト性を維持できるか？

主な発見

• 微調整なしでは、プルーニング比が増加するに従い、悪意ある攻撃に対するロバスト性が良性精度と同様に劣化する。これは、ロバスト性が本質的に壊れやすいわけではないことを示している。
• 自然な学習目的で微調整する標準的なプルーニングでは、事前学習段階と微調整段階の目的関数の不一致により、ロバスト性が保持されない。
• 微調整段階で事前学習段階と一致するロバストな目的関数を使用した場合、10倍の圧縮率において、92.5%の実証的ロバスト精度と85.0%の検証可能なロバスト精度を維持した。
• 本手法では、10倍の圧縮率において平均で93%の良性精度を維持しており、精度の低下を最小限に抑えつつ高いコンパクト性を実現した。
• 構造的プルーニングでは、10倍の圧縮率において84.3%の良性精度、90.4%の実証的ロバスト精度、73.8%の検証可能なロバスト精度を達成した。
• プルーニングベースのアプローチは、スクラッチからコンパクトなモデルを訓練する手法と比較して、良性精度で最大10%、ロバスト精度で3.8%の向上を達成し、特に高いロバスト性制約下で顕著であった。