[論文レビュー] QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks

Priyadarshini Panda|arXiv (Cornell University)|Apr 22, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用数 11

ひとこと要約

QUANOSは、敵対的ノイズ感度（ANS）に基づいて層別にビット幅を割り当てるハイブリッド量子化フレームワークを提案する。これにより、DNNにおけるエネルギー効率と耐性の両方を向上させる。敵対的攻撃への脆弱性を低減するために各層の精度を最適化することで、QUANOSは同精度条件下で8ビットベースライン比で3.7倍のメモリ圧縮と2倍のエネルギー削減を達成し、敵対的訓練を組み合わせることで最大16%高い耐性を示す。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be vulnerable to adversarial attacks, wherein, a model gets fooled by applying slight perturbations on the input. With the advent of Internet-of-Things and the necessity to enable intelligence in embedded devices, low-power and secure hardware implementation of DNNs is vital. In this paper, we investigate the use of quantization to potentially resist adversarial attacks. Several recent studies have reported remarkable results in reducing the energy requirement of a DNN through quantization. However, no prior work has considered the relationship between adversarial sensitivity of a DNN and its effect on quantization. We propose QUANOS- a framework that performs layer-specific hybrid quantization based on Adversarial Noise Sensitivity (ANS). We identify a novel noise stability metric (ANS) for DNNs, i.e., the sensitivity of each layer's computation to adversarial noise. ANS allows for a principled way of determining optimal bit-width per layer that incurs adversarial robustness as well as energy-efficiency with minimal loss in accuracy. Essentially, QUANOS assigns layer significance based on its contribution to adversarial perturbation and accordingly scales the precision of the layers. A key advantage of QUANOS is that it does not rely on a pre-trained model and can be applied in the initial stages of training. We evaluate the benefits of QUANOS on precision scalable Multiply and Accumulate (MAC) hardware architectures with data gating and subword parallelism capabilities. Our experiments on CIFAR10, CIFAR100 datasets show that QUANOS outperforms homogenously quantized 8-bit precision baseline in terms of adversarial robustness (3%-4% higher) while yielding improved compression (>5x) and energy savings (>2x) at iso-accuracy.

研究の動機と目的

• リソース制限のあるIoTおよび組み込みデバイスにおけるエネルギー効率が高く、安全なDNNの展開ニーズに対応すること。
• 量子化がエネルギー節約のためのものだけでなく、敵対的耐性の向上にも活用可能かどうかを調査すること。
• 敵対的感度に基づいて各層に最適なビット幅を割り当てる手法を開発し、網羅的探索や事前学習モデルに依存しないこと。
• データゲーティングおよび動的電圧/周波数スケーリング（DVAFS）を備えたサステイリックアレイアクセラレータ上で、提案手法のハードウェア効率性と耐性を評価すること。
• 敵対的ノイズ感度に従ってガイドされたハイブリッド量子化が、精度、圧縮率、耐性の面で均一な量子化を上回ることを実証すること。

提案手法

• 各層が敵対的摂動に寄与する度合いを定量化するための新規な敵対的ノイズ感度（ANS）指標を提案する。
• ANSを用いて、敵対的ノイズに感受性の高い層には低い精度を割り当てる、層別最適ビット幅を決定する。
• 事前学習モデルに依存しないように、学習の初期段階（約20〜30エポック後）に量子化フレームワークを適用する。
• エネルギー効率を高めるために、ハードウェアに配慮した最適化（データゲーティングおよび動的電圧/周波数スケーリング：DVAFS）を統合する。
• エネルギー、メモリ圧縮率、推論性能を測定するために、2次元のサステイリックアレイアクセラレータをハードウェア評価に用いる。
• 敵対的訓練（AdvTrain+FGSM/PGD）と組み合わせることで、強力な攻撃に対する耐性をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 層別ハイブリッド量子化は、エネルギー効率と精度を維持したまま敵対的耐性を向上させることができるか？
• RQ2 敵対的ノイズ感度（ANS）は、各層の敵対的攻撃に対する脆弱性とどのように相関するか？
• RQ3 QUANOSは同精度条件下で均一な8ビット量子化よりも優れた圧縮率とエネルギー節約を達成できるか？
• RQ4 QUANOSを敵対的訓練と統合することで、最先端の防御手法よりも優れた耐性が得られるか？
• RQ5 事前学習モデルを必要とせず、早期段階での量子化が可能か、QUANOSはそのような状況でも効果的に適用できるか？

主な発見

• CIFAR10において、QUANOSは同精度条件下で8ビット均一量子化と比較して3.7倍のメモリ圧縮と2倍のエネルギー節約を達成した。
• CIFAR10において、ホワイトボックス攻撃下で8ビットベースラインと比較して、QUANOSは敵対的耐性を3〜4%向上させた。
• 同圧縮率条件下で、QUANOSは強力なPGD攻撃に対して、類似サイズのベースラインと比較して10%以上の高い敵対的耐性を示した。
• 敵対的訓練と組み合わせた場合、CIFAR10およびCIFAR100において、QUANOSは最先端の手法と比較して5〜16%高い耐性を達成した。
• CIFAR100において、QUANOSは同精度に近い状態で8ビットベースラインと比較して3.6倍のメモリ圧縮と1.4〜2.4倍のエネルギー効率向上を達成した。
• FGSMおよびPGD攻撃下で、QUANOSは8ビットベースラインと比較して敵対的損失を4〜7%低減し、4ビットモデルよりもPGD攻撃に対してははるかに優れた耐性を示した。