[論文レビュー] Improving Adversarial Robustness in Weight-quantized Neural Networks

Chang Song, Elias Fallon+1 more|arXiv (Cornell University)|Dec 29, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 8

ひとこと要約

本稿では、重み量子化ニューラルネットワークにおける敵対的ロスと量子化ロスを同時に低減する境界ベースの微調整手法と非線形マッピングの組み合わせを提案する。リプシッツ定数の分析と両方の耐性タイプの最適化により、白색ボックスおよびブラックボックス攻撃下でMNISTとCIFAR-10において平均正解率をそれぞれ20.54%および52.69%向上させ、先行研究のベースラインを7.55%および27.84%上回った。

ABSTRACT

Neural networks are getting deeper and more computation-intensive nowadays. Quantization is a useful technique in deploying neural networks on hardware platforms and saving computation costs with negligible performance loss. However, recent research reveals that neural network models, no matter full-precision or quantized, are vulnerable to adversarial attacks. In this work, we analyze both adversarial and quantization losses and then introduce criteria to evaluate them. We propose a boundary-based retraining method to mitigate adversarial and quantization losses together and adopt a nonlinear mapping method to defend against white-box gradient-based adversarial attacks. The evaluations demonstrate that our method can better restore accuracy after quantization than other baseline methods on both black-box and white-box adversarial attacks. The results also show that adversarial training suffers quantization loss and does not cooperate well with other training methods.

研究の動機と目的

• 重み量子化ニューラルネットワークにおける敵対的訓練されたモデルの量子化ロスに対する脆弱性を解消すること。
• 敵対的ロスと量子化ロスの両方を同時に軽減する統合的アプローチを開発すること。
• リプシッツ定数を指標として用いて、敵対的耐性と量子化耐性の相互作用を分析すること。
• 敵対的訓練が、量子化に配慮した訓練やその他の訓練手法と良好に連携しないことを検証すること。
• リソース制約のあるデバイスへの実用的かつ効果的な実装用防御戦略を提案すること。

提案手法

• 境界ベースの微調整手法を用いて、敵対的ロスと量子化ロスを統合最適化フレームワーク内で同時に最小化する。
• 最終層に非線形マッピングを適用し、PGD や FGSM などの白色ボックス勾配ベース攻撃に対して防御する。
• 各層における重み量子化誤差（∆W）のリプシッツ定数を、最大特異値を用いて計算し、誤差拡大度を測定する。
• 再訓練と非線形マッピングを、量子化誤差拡大が顕著に現れる最後の数層に集中させる。
• 標準的な敵対的攻撃（FGSM、PGD、CW）を用いて、MNIST および CIFAR-10 で手法を評価する。
• 目的関数の不整合のため、敵対的訓練と量子化に配慮した訓練を組み合わせることを回避する。

実験結果

リサーチクエスチョン

• RQ1 なぜ敵対的訓練されたモデルは量子化された際に顕著な性能低下を示すのか？
• RQ2 重み量子化ネットワークにおいて、敵対的耐性と量子化耐性をどのように同時に最適化できるか？
• RQ3 重み量子化誤差のリプシッツ定数は、脆弱な層を特定する上でどのような役割を果たすか？
• RQ4 非線形マッピングは、量子化モデルにおける白色ボックス勾配ベースの敵対的攻撃に対して効果的に防御できるか？
• RQ5 なぜ敵対的訓練と量子化に配慮した訓練を組み合わせると性能が悪化するのか？

主な発見

• 提案手法 F.L.+mu (Q) は、白色ボックスおよびブラックボックス攻撃下で、元の量子化モデルに対してMNISTで平均20.54%、CIFAR-10で52.69%の正解率向上を達成した。
• 2番目に優れたベースライン F.L. (Q) と比較して、MNISTでは平均7.55%、CIFAR-10では27.84%の正解率向上を達成した。
• 敵対的訓練されたモデルは、CIFAR-10の最終層でリプシッツ定数が2を超えることが判明し、強い量子化誤差拡大を示しているが、提案手法ではそれを1未満に保った。
• 非線形マッピングは、敵対的モデルの最終層におけるリプシッツ定数を34.29%増加させ、量子化に対する感受性が高いことを確認した。
• 最後の数層、特に最終全結合層が最も顕著な量子化誤差拡大を示し、防御の主要ターゲットであることがわかった。
• 敵対的訓練と量子化に配慮した訓練を組み合わせると性能が低下し、両者の最適化目的が不整合であることが示された。