[論文レビュー] Energy-Latency Attacks via Sponge Poisoning

Antonio Emanuele Ciná, Ambra Demontis+3 more|arXiv (Cornell University)|Mar 14, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、DNNのエネルギー消費と遅延を増加させる訓練時攻撃「スポンジ中毒化（sponge poisoning）」を紹介する。この攻撃は、訓練中に僅か数回のモデル更新を操作するだけで、ASICアクセラレータの効果を無効化する。モデルの精度を維持しながら、すべてのテスト入力に対してニューロンの発火を最大化するため、外部委託学習やフェデレーテッドラーニング環境において非常に効果的である。

ABSTRACT

Sponge examples are test-time inputs optimized to increase energy consumption and prediction latency of deep networks deployed on hardware accelerators. By increasing the fraction of neurons activated during classification, these attacks reduce sparsity in network activation patterns, worsening the performance of hardware accelerators. In this work, we present a novel training-time attack, named sponge poisoning, which aims to worsen energy consumption and prediction latency of neural networks on any test input without affecting classification accuracy. To stage this attack, we assume that the attacker can control only a few model updates during training -- a likely scenario, e.g., when model training is outsourced to an untrusted third party or distributed via federated learning. Our extensive experiments on image classification tasks show that sponge poisoning is effective, and that fine-tuning poisoned models to repair them poses prohibitive costs for most users, highlighting that tackling sponge poisoning remains an open issue.

研究の動機と目的

• 機械学習のセキュリティにおける新たな脆弱性を同定・利用する：訓練時中毒化により、エネルギー消費と遅延を増加させる。
• 攻撃者が僅か数回の勾配更新をわずかに操作することで、訓練中にDNNを損なうことが可能であることを示す。
• この攻撃が、エネルギー消費を低減することを目的としたスパarsityベースのASICアクセラレータの利点を損なうことを示す。
• スポンジ中毒化がモデルの活性化に与える影響を分析し、ReLUやMaxPooling層のような脆弱なコンponentsを同定する。
• 対策の実現可能性を評価し、洗浄（sanitization）が実用的導入にはコストが高すぎる場合が多いことを示す。

提案手法

• 訓練中に発火するニューロンの数を定量化・最大化する新たなエネルギー目的関数を提案し、エネルギー消費を直接標的とする。
• エネルギー目的関数を訓練プロセスに統合した中毒化攻撃を設計し、攻撃者が僅か数回のモデル更新しか制御できない状況でも制御可能である。
• エネルギー消費の増加とモデル精度の維持・向上をバランスさせるために、制約付き最適化フレームワークを用いる。
• 活性化のスパarsityに基づくエネルギー節約をモデル化するため、ASICアクセラレータ挙動の微分可能近似を採用する。
• λのようなハイパーパrameterを調整して、ハードウェア制約に適合させ、指定された制限内でエネルギー消費を最大化する。
• モデル内部構造を分析し、中毒化によって発火率が著しく上昇する可能性が最も高いコンponents（例：ReLU、MaxPooling）を同定する。

実験結果

リサーチクエスチョン

• RQ1 訓練時中毒化攻撃を設計し、モデル精度を損なわず、すべてのテスト入力に対してエネルギー消費と遅延を増加させることは可能か？
• RQ2 わずか数回のモデル更新の制御で、スパarsityベースのASICアクセラレータの利点を回避する訓練時操作は現実的か？
• RQ3 スポンジ中毒化の下で、どのモデルコンponentsがニューロン発火の増加に対して最も脆弱か？
• RQ4 攻撃をハードウェアが課すエネルギー消費制約に適合させることは可能か？
• RQ5 既存の洗浄ベースの対策は有効か、あるいは逆転に際し、実用的でないほど費用が高すぎるか？

主な発見

• スポンジ中毒化は、訓練中に僅か数回のモデル更新を操作するだけで、すべてのテスト入力に対してエネルギー消費と遅延を著しく増加させることに成功した。
• この攻撃により、スパarsityベースのASICアクセラレータがほとんど完全に無効化され、そのエネルギー節約効果がほとんど消失した。
• ReLUおよびMaxPooling層は特に脆弱であり、中毒化モデルでは著しく高いニューロン発火率を示した。
• 攻撃者が制御できる更新回数が僅かでも、攻撃は有効であるため、フェデレーテッドラーニングや外部委託学習のシナリオでも実用的である。
• 洗浄ベースの対策は計算コストが高く、大多数のユーザーにとっては実用的でないことが示され、再訓練なしでは攻撃はほぼ完全に無効化できないことが示唆された。
• ハイパーパrameter λ を調整することで、与えられたハードウェア制約内でエネルギー消費を最大化するように攻撃をチューニング可能である。