[論文レビュー] Defend Deep Neural Networks Against Adversarial Examples via Fixed and Dynamic Quantized Activation Functions

Adnan Siraj Rakin, Jinfeng Yi+2 more|arXiv (Cornell University)|Jul 18, 2018

Adversarial Robustness in Machine Learning参考文献 49被引用数 35

ひとこと要約

本稿では、敵対的例に対する深層ニューラルネットワークの耐性を向上させるために、敵対的訓練中に活性化関数の量子化しきい値を動的に学習する、新たな防御手法であるダイナミック量子化活性化（DQA）を提案する。この手法は、同時にモデルのコンactさと耐性を向上させ、白색ボックスおよびブラックボックス攻撃に対してMNISTおよびCIFAR-10で最先端の防御精度を達成する。

ABSTRACT

Recent studies have shown that deep neural networks (DNNs) are vulnerable to adversarial attacks. To this end, many defense approaches that attempt to improve the robustness of DNNs have been proposed. In a separate and yet related area, recent works have explored to quantize neural network weights and activation functions into low bit-width to compress model size and reduce computational complexity. In this work, we find that these two different tracks, namely the pursuit of network compactness and robustness, can be merged into one and give rise to networks of both advantages. To the best of our knowledge, this is the first work that uses quantization of activation functions to defend against adversarial examples. We also propose to train robust neural networks by using adaptive quantization techniques for the activation functions. Our proposed Dynamic Quantized Activation (DQA) is verified through a wide range of experiments with the MNIST and CIFAR-10 datasets under different white-box attack methods, including FGSM, PGD, and C & W attacks. Furthermore, Zeroth Order Optimization and substitute model-based black-box attacks are also considered in this work. The experimental results clearly show that the robustness of DNNs could be greatly improved using the proposed DQA.

研究の動機と目的

• 微小な摂動によっても誤分類を引き起こす可能性がある、深層ニューラルネットワーク（DNN）の敵対的例に対する脆弱性を解消すること。
• モデル圧縮（活性化関数の量子化によるもの）と敵対的耐性の両者に、従来は別個の研究分野であったが、それらの相乗効果を調査すること。
• モデル効率性や精度を損なわずに耐性を向上させる防御メカニズムを開発すること。
• 多様な攻撃タイプ、特にホワイトボックスおよびブラックボックス攻撃に対して、量子化された活性化関数の有効性を検証すること。
• 敵対的訓練中に動的に学習可能な量子化しきい値が、固定された量子化と比較して顕著に耐性を向上させることを示すこと。

提案手法

• 固定量子化活性化（FQA）を提案する。活性化出力を固定しきい値を用いて低ビット幅（例：1-, 2-, 3ビット）に量子化することで、敵対的ノイズの影響を低減する。
• 動的量子化活性化（DQA）を導入する。量子化しきい値を微分可能とし、ネットワーク重みと同時に敵対的訓練中に最適化する。
• FGSM、PGD、C&W攻撃を用いた敵対的訓練を実施し、DQAをトレーニングパイプラインに統合することで耐性を向上させる。
• ゼロ次最適化（ZOO）および代替モデルベースのブラックボックス攻撃を用い、現実的な脅威モデル下での耐性を評価する。
• バックボーンモデルとしてResNet-18およびVGG16/AlexNetを用い、ブラックボックス攻撃評価のための全精度代替モデルを適用する。
• 量子化された活性化関数を用いてモデルを訓練し、複数のデータセットおよび攻撃タイプにおけるクリーンな精度と敵対的精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定された活性化関数の量子化のみで、DNNの敵対的例に対する耐性が向上するか？
• RQ2 敵対的訓練中に量子化しきい値を動的に学習することで、固定量子化と比較してより強い耐性が得られるか？
• RQ3 活性化関数の量子化が、ホワイトボックスおよびブラックボックス攻撃の両方に対して有効な防御メカニズムとして機能するか？
• RQ4 DQAは、耐性を向上させる一方で、モデルの精度とコンactさをどの程度維持できるか？
• RQ5 ZOOおよび代替モデル攻撃を含む高度なブラックボックス攻撃に対し、DQAはどの程度効果的か？

主な発見

• 固定された活性化関数の量子化（例：1-, 2-, 3ビット）は、敵対的攻撃の成功率を顕著に低下させ、量子化が本質的に敵対的ノイズを抑制することを示している。
• 提案されたDQA防御は、CIFAR-10において2ビット量子化で攻撃なしのテスト精度が85.06%を達成し、ベースラインモデルを上回っている。
• C&WおよびPGDホワイトボックス攻撃下でも、1ビット活性化量子化であってもDQAは80%以上の精度を維持しており、強い耐性を示している。
• ZOOブラックボックス攻撃では、すべてのビット幅（1-, 2-, 3ビット）で攻撃成功確率が0%に抑えられ、微分不能な量子化のため勾配近似が失敗していることが示唆されている。
• 代替モデル攻撃では、VGG16を代替モデルとして用いた3ビットおよび2ビットモデルで、それぞれ82.59%および82.11%の精度を維持しており、代替モデル自体の精度を著しく上回っている。
• 代替モデルが全精度で高能力であっても、DQAの耐性は維持されており、DQAの耐性がモデルの単純さに起因するのではなく、量子化メカニズムそのものに起因していることを確認している。