[論文レビュー] Fault Sneaking Attack: a Stealthy Framework for Misleading Deep Neural Networks

Pu Zhao, Siyue Wang+4 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 12

ひとこと要約

本稿では、特定の入力を誤分類するが、全体のモデル精度を維持する、洗練された深層学習攻撃であるフォールトスリーピング攻撃を提案する。ADMMを用い、ℓ₀およびℓ₂ノルム制約を課すことにより、最小限のパラメータ変更で複数の標的誤分類を実現し、16の故障を挿入しても1%未満の精度低下が生じる。

ABSTRACT

Despite the great achievements of deep neural networks (DNNs), the vulnerability of state-of-the-art DNNs raises security concerns of DNNs in many application domains requiring high reliability.We propose the fault sneaking attack on DNNs, where the adversary aims to misclassify certain input images into any target labels by modifying the DNN parameters. We apply ADMM (alternating direction method of multipliers) for solving the optimization problem of the fault sneaking attack with two constraints: 1) the classification of the other images should be unchanged and 2) the parameter modifications should be minimized. Specifically, the first constraint requires us not only to inject designated faults (misclassifications), but also to hide the faults for stealthy or sneaking considerations by maintaining model accuracy. The second constraint requires us to minimize the parameter modifications (using L0 norm to measure the number of modifications and L2 norm to measure the magnitude of modifications). Comprehensive experimental evaluation demonstrates that the proposed framework can inject multiple sneaking faults without losing the overall test accuracy performance.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）がハードウェアベースの故障挿入攻撃に対して脆弱であるというセキュリティ上の懸念を解決すること。
• モデル全体の精度を損なわずに、DNNパラメータを変更することで複数の標的誤分類を実現する手法を開発すること。
• 大多数の入力に対して正しく分類されることを保証し、パラメータ変更を最小限に抑えることで、攻撃のステルス性を確保すること。
• 攻撃に必要なパラメータ変更の数と大きさを減らすことで、効率的なハードウェア実装を可能にすること。

提案手法

• R−S個の非標的画像に対して正しく分類を維持する制約と、パラメータ変更を最小限に抑える制約を課した最適化問題としてフォールトスリーピング攻撃を定式化する。
• 解析的解が得られるように、交替方向乗数法（ADMM）を用いて最適化問題を解く。
• ℓ₀ノルムを用いて変更対象のパラメータ数を最小化し、ℓ₂ノルムを用いて変更の大きさを最小化する。
• わずかな設定変更でℓ₀およびℓ₂ノルムの両方の最小化をサポートする汎用的なADMMフレームワークを実装する。
• モデルパラメータと双対変数の更新を交互に繰り返すことで反復的に問題を解き、制約下で収束を保証する。
• 二段階の最適化プロセスを採用：第一段階で変更すべき重要なパラメータを特定し、第二段階で精度制約とステルス制約を満たすように変更を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 少数のパラメータ変更で特定の入力を誤分類させつつ、他の入力の精度を維持できるDNNは実現可能か？
• RQ2 実用的なハードウェアベースの故障挿入を可能にするために、パラメータ変更の数と大きさをどのように最小化できるか？
• RQ3 モデル性能が著しく低下する前に、最大で何個のステルス性を持つ故障を挿入できるか？
• RQ4 ヒューリスティック法や回避ベースの手法と比較して、ADMMに基づく最適化フレームワークは、ステルス性と効率性においてどのように優れているか？

主な発見

• S ≤ 10の場合、16枚の標的画像を100%の成功率で誤分類することができ、小規模な攻撃において高い信頼性を示した。
• S = 16の場合、R = 1000の条件下でMNISTではテスト精度が96.9%、CIFAR-10では76.4%を維持し、元のモデルと比較してそれぞれ0.8%および1.0%の精度低下にとどまった。
• 類似条件の下で先行研究と比較して、精度低下が顕著に小さく抑えられた：MNISTでは3.86%、CIFAR-10では2.35%の低下。
• S > 10になると成功率が100%未満に低下し、最終全結合層の変更による10例程度の成功誤分類が実用的な耐性限界であることが示唆された。
• ℓ₀ベースの攻撃では、MNISTで1026、CIFAR-10で804のパラメータ変更にまで削減されたが、ℓ₂ベースの攻撃はパラメータ変更の大きさをより効果的に小さくした。これはスパarsityと大きさの間のトレードオフを示している。
• R（正しく分類された画像の数）を増やすことで、全体のテスト精度が顕著に向上し、より多くの良性分類を維持することで攻撃後のモデル安定性が向上することが示された。