[論文レビュー] EI-MTD:Moving Target Defense for Edge Intelligence against Adversarial Attacks

Yaguan Qian, Qiqi Shao+6 more|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、エッジインテリジェンス向けに微分知識蒸留を用いて、クラウド上の大型で敵対的に訓練された教師モデルから、リソース制約のあるエッジデバイスに配置された小型の学生モデルへ耐性を転移する、EI-MTDと呼ばれる移動対象防御フレームワークを提案する。ベイジアンスタックルベルゲームに基づく動的スケジューリングにより、多様で頑健なモデルを切り替えることで、敵対的転送性を低減し、正確性を損なわずブラックボックス環境下でも強力な防御性能を達成する。

ABSTRACT

With the boom of edge intelligence, its vulnerability to adversarial attacks becomes an urgent problem. The so-called adversarial example can fool a deep learning model on the edge node to misclassify. Due to the property of transferability, the adversary can easily make a black-box attack using a local substitute model. Nevertheless, the limitation of resource of edge nodes cannot afford a complicated defense mechanism as doing on the cloud data center. To overcome the challenge, we propose a dynamic defense mechanism, namely EI-MTD. It first obtains robust member models with small size through differential knowledge distillation from a complicated teacher model on the cloud data center. Then, a dynamic scheduling policy based on a Bayesian Stackelberg game is applied to the choice of a target model for service. This dynamic defense can prohibit the adversary from selecting an optimal substitute model for black-box attacks. Our experimental result shows that this dynamic scheduling can effectively protect edge intelligence against adversarial attacks under the black-box setting.

研究の動機と目的

• リソース制限のあるエッジモデルの敵対的攻撃に対する脆弱性の増大を緩和する。
• エッジインテリジェンスシステムに対する効果的なブラックボックス攻撃を可能にする、敵対的例の転送性を軽減する。
• クラウド規模の防御とは異なり、複雑さを伴わずエッジノードに実装可能な軽量で実用的な防御機構を開発する。
• 攻撃者が代替モデルを信頼性高く生成できるのを防ぐために、モデルの多様性と予測不可能性を高める。
• クリーンな入力に対する分類精度を維持しつつ、敵対的摂動に対する耐性を著しく向上させる。

提案手法

• クラウド上に配置された、敵対的訓練済みの大規模教師モデルから、エッジデバイスに展開された複数の小型学生モデルへ、微分知識蒸留を用いて耐性と分類知識を転送する。
• 知識転送の強化のため、高い蒸留温度 $ T $ と正則化係数 $ \lambda $ を使用する。
• 防御者が（エッジシステムとして）攻撃者を混乱させるために、確率的にターゲットモデルを選択するベイジアンスタックルベルゲームに基づく動的モデルスケジューリングポリシーを実装する。
• 勾配に基づく多様性指標を活用し、学生モデルが勾配応答において相違することを保証することで、敵対的例の転送性を低減する。
• リアルタイムのエッジ推論パイプラインに防御を統合し、最小限の計算オーバーヘッドでデバイス上で分類を実行可能にする。
• 蒸留の前に教師モデルに敵対的訓練を適用することで、耐性を保証し、学生モデルがその耐性を継承できるようにする。

実験結果

リサーチクエスチョン

• RQ1 頑健で大規模な教師モデルからの知識蒸留が、エッジに展開可能な小型の学生モデルへ敵対的耐性を効果的に転送できるか。
• RQ2 ベイジアンスタックルベルゲームによる動的モデルスケジューリングが、エッジインテリジェンスシステムにおけるブラックボックス敵対的攻撃の成功率をどの程度低減できるか。
• RQ3 微分蒸留によるモデル多様性の向上が、エッジモデル間での敵対的例の転送性にどのような影響を与えるか。
• RQ4 蒸留と動的スケジューリングを組み合わせた軽量防御機構が、クリーン入力における高い精度を維持しつつ、著しく耐性を向上できるか。
• RQ5 エッジデバイスにおける防御性能を最大化するために、蒸留温度 $ T $ と正則化係数 $ \lambda $ の最適な設定は何か。

主な発見

• EI-MTDは、多様で頑健な学生モデルを動的に入れ替えることで、攻撃者が効果的な代替モデルを特定するのが難しくなるようにし、ブラックボックス敵対的攻撃の成功率を顕著に低減する。
• 蒸留温度 $ T $ と正則化係数 $ \lambda $ を高めることで耐性が向上し、最適な値を設定することで、敵対的摂動下での防御精度が向上する。
• クリーンなテスト画像においても90%を超える高い分類精度を維持しており、推論性能を損なわず耐性が実現されていることを示している。
• 微分知識蒸留の活用により、リソースが限られたエッジ環境でも、大規模で敵対的訓練済みの教師モデルからの耐性を小型の学生モデルが継承できる。
• ベイジアンスタックルベルに基づくスケジューリングポリシーは、モデル選択の不確実性を導入することで攻撃者を混乱させ、転送ベース攻撃の効果性を低下させる。
• 静的モデルと比較して、EI-MTDの動的防御機構は特に転送性に基づく攻撃シナリオにおいて顕著な耐性の向上を示している。