[論文レビュー] Defensive Quantization: When Efficiency Meets Robustness

Ji Lin, Chuang Gan+1 more|arXiv (Cornell University)|Apr 17, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 34

ひとこと要約

本論文は、素朴なニューラルネットワークの量子化が誤差増幅効果により敵対的ロバスト性を悪化させることを示し、量子化中にリプシッツ定数を正則化して効率を保持しつつロバスト性を高めるDefensive Quantization (DQ)を導入する。CIFAR-10とSVHNで実証。

ABSTRACT

Neural network quantization is becoming an industry standard to efficiently deploy deep learning models on hardware platforms, such as CPU, GPU, TPU, and FPGAs. However, we observe that the conventional quantization approaches are vulnerable to adversarial attacks. This paper aims to raise people's awareness about the security of the quantized models, and we designed a novel quantization methodology to jointly optimize the efficiency and robustness of deep learning models. We first conduct an empirical study to show that vanilla quantization suffers more from adversarial attacks. We observe that the inferior robustness comes from the error amplification effect, where the quantization operation further enlarges the distance caused by amplified noise. Then we propose a novel Defensive Quantization (DQ) method by controlling the Lipschitz constant of the network during quantization, such that the magnitude of the adversarial noise remains non-expansive during inference. Extensive experiments on CIFAR-10 and SVHN datasets demonstrate that our new quantization method can defend neural networks against adversarial examples, and even achieves superior robustness than their full-precision counterparts while maintaining the same hardware efficiency as vanilla quantization approaches. As a by-product, DQ can also improve the accuracy of quantized models without adversarial attack.

研究の動機と目的

• 対敵対的攻撃の下で配備済みの量子化モデルに関するセキュリティ上の懸念を喚起する。
• 従来の量子化が誤差増幅を通じて脆弱性を招く理由を説明する。
• 効率と頑健性を同時に向上させる量子化手法（DQ）を提案する。
• 選択されたデータセットで、DQが素朴な量子化を上回り、フル精度の頑健性と同等またはそれを上回ることを経験的に示す。
• DQが他の防御技術と互換性があることと、その訓練上の利点を強調する。

提案手法

• 層を横断する誤差増幅により、量子化が敵対的攻撃に脆弱になることを示す実証的研究。
• ネットワークのリプシッツ定数を制約して摂動増幅を防ぐことでDefensive Quantization (DQ)を導入する。
• ウェイトを ||W^T W − I||^2 の項で正則化し、層のリプシッツ定数を ≤ 1（非拡張的）に保つ。
• 活性化の量子化（ReLU6）を適用し、リプシッツ正則化を訓練目的に組み込む：L = L_CE + (β/2) sum_W ||W^T W − I||^2。
• 前研究と同様にResNetsの凸結合補正を用いて安定性を維持する。
• DQが他の防御（例：対敵訓練、特徴絞り込み）と組み合わせて頑健性をさらに高められることを示す。

実験結果

リサーチクエスチョン

• RQ1 従来の量子化は、フル精度モデルと比較して敵対的サンプルに対する頑健性にどのような影響を与えるか？
• RQ2 量子化中のリプシッツ定数制御は、層を横断する敵対的摂動の増幅を防ぐことができるか？
• RQ3 Defensive Quantizationは頑健性を向上または維持しつつ、ハードウェア効率を維持するか？
• RQ4 DQは他の防御戦略とどれほど協調して、全体的な敵対的頑健性を高められるか？

主な発見

• 従来の活性化量子化は、クリーンな精度が保たれていても、量子化モデルをフル精度よりも敵対的攻撃に対して頑健でなくする。
• Defensive Quantization (DQ)は、素朴な量子化と同じハードウェア効率を維持しつつ、フル精度モデルの頑健性と同等またはそれを上回る。
• 層のリプシッツ定数を非拡張的に保つよう正則化することで敵対的ノイズの伝搬を減らし、より大きいβで頑健性がさらに向上する。
• 活性化のダイナミックレンジを制約し、切り捨てによる最適化の難しさを低減することで、クリーンデータ上の量子化モデルの訓練を改善できる。
• DQは他の防御（例：対敵訓練、特徴絞り込み）と互換性があり、それらの有効性をさらに高めることができる。