[論文レビュー] Security analysis and enhancement of model compressed deep learning systems under adversarial attacks

Qi Liu, Tao Liu+4 more|arXiv (Cornell University)|Jan 22, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 24

ひとこと要約

本稿は、ハッシュベースの圧縮を用いたモデルの再形状と入力摂動を併用して、圧縮されたディープラーニングモデルの脆弱性を共同で分析することで、敵対的攻撃に対する脆弱性を調査している。本稿では勾配抑制防御を提案し、MNISTでは87.99%から4.77%、CIFAR-10では86.74%から4.64%へと敵対的攻撃成功確率を低下させ、精度の損失は最小限に抑えた。

ABSTRACT

Thanks to recent machine learning model innovation and computing hardware advancement, the state-of-the-art of Deep Neural Network (DNN) is presenting human-level performance for many complex intelligent tasks in real-world applications. However, it also introduces ever-increasing security concerns for those intelligent systems. For example, the emerging adversarial attacks indicate that even very small and often imperceptible adversarial input perturbations can easily mislead the cognitive function of deep learning systems (DLS). Existing DNN adversarial studies are narrowly performed on the ideal software-level DNN models with a focus on single uncertainty factor, i.e. input perturbations, however, the impact of DNN model reshaping on adversarial attacks, which is introduced by various hardware-favorable techniques such as hash-based weight compression during modern DNN hardware implementation, has never been discussed. In this work, we for the first time investigate the multi-factor adversarial attack problem in practical model optimized deep learning systems by jointly considering the DNN model-reshaping (e.g. HashNet based deep compression) and the input perturbations. We first augment adversarial example generating method dedicated to the compressed DNN models by incorporating the software-based approaches and mathematical modeled DNN reshaping. We then conduct a comprehensive robustness and vulnerability analysis of deep compressed DNN models under derived adversarial attacks. A defense technique named gradient inhibition is further developed to ease the generating of adversarial examples thus to effectively mitigate adversarial attacks towards both software and hardware-oriented DNNs. Simulation results show that gradient inhibition can decrease the average success rate of adversarial attacks from 87.99% to 4.77% (from 86.74% to 4.64%) on MNIST (CIFAR-10) benchmark with marginal accuracy degradation across various DNNs.

研究の動機と目的

• 重み圧縮などのモデル最適化技術が敵対的耐性分析において軽視されがちな、圧縮されたディープラーニングシステムにおけるセキュリティギャップを埋めること。
• 実世界のDNNデプロイメントにおいて、ハッシュネットベースの圧縮などのモデル再形状と入力摂動の併用が敵対的脆弱性に与える影響を調査すること。
• ソフトウェアレベルおよびハードウェア最適化DNNの両方に対して、敵対的条件下で効果的な防御機構を開発すること。
• 実際の圧縮と攻撃シナリオを想定し、複数のDNNアーキテクチャとベンチマークデータセット（MNIST、CIFAR-10）を用いて耐性を評価すること。

提案手法

• 特にハッシュベースの圧縮（例：HashNet）を含むDNNモデル再形状の数学的モデルを、既存の敵対的例生成手法に統合することで、実際のハードウェア最適化モデルを模擬する。
• 入力レベルの摂動とモデル圧縮による構造的変化の両方を考慮する共同攻撃フレームワークを構築し、現実的な敵対的脅威モデルを可能にする。
• 敵対的例生成中に勾配の流れを抑制する勾配抑制技術を提案することで、モデルの敵対的入力に対する感受性を低減する。
• 標準的および圧縮されたDNNに勾配抑制を統合し、ソフトウェアおよびハードウェア最適化された推論パイプラインの両方に広く適用可能であることを保証する。
• 勾配マスキングを用いた反復的最適化により、勾配ベース攻撃の効果を制限しつつ、モデル精度を維持する。
• さまざまなDNNアーキテクチャを用い、異なる圧縮レベル下で、標準ベンチマーク（MNIST、CIFAR-10）上で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュベースのモデル圧縮（例：HashNet）は、ディープニューラルネットワークの敵対的攻撃に対する耐性にどのように影響するか？
• RQ2 入力摂動とモデル再形状の併用が、実用的なDNNシステムにおける敵対的脆弱性をどの程度悪化させるか？
• RQ3 勾配抑制のような防御機構は、圧縮されていないDNNおよび圧縮されたDNNの両方で、敵対的攻撃成功確率を効果的に低下させることができるか？
• RQ4 圧縮DNNに勾配抑制を適用する際の、敵対的耐性とモデル精度のトレードオフはどのようなものか？

主な発見

• 提案された勾配抑制防御により、MNISTベンチマークにおける平均敵対的攻撃成功確率が87.99%から4.77%に低下した。
• CIFAR-10データセットでは、勾配抑制を適用した後、攻撃成功確率が86.74%から4.64%に低下した。
• さまざまなDNNアーキテクチャおよび異なる圧縮レベル下でも、防御は高いモデル精度を維持し、わずかな劣化にとどまった。
• 本研究では、ハッシュベースの圧縮によるモデル再形状が、敵対的脆弱性を顕著に変化させることを明らかにした。これにより、ハードウェア最適化モデルには従来の耐性分析では不十分であることが示された。
• 入力摂動とモデル圧縮の両方を統合的に考慮することで、実用的なDNNデプロイメントにおけるより現実的で深刻な敵対的脅威モデルが得られた。
• 勾配抑制は、ソフトウェアおよびハードウェア指向のDNNの両方で、敵対的攻撃を効果的に緩和し、広範な適用可能性と高い防御性能を示した。