[論文レビュー] Securing Deep Neural Nets against Adversarial Attacks with Moving Target Defense.

Sailik Sengupta, Tathagata Chakraborti+1 more|arXiv (Cornell University)|May 19, 2017

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、ベイジアンスターリングゲームを用いた動的モデル選択により、敵対的攻撃に対する深層ニューラルネットワークの頑健性を向上させる、MTDeepと呼ばれるメタディフェンスフレームワークを提案する。MNIST、FashionMNIST、ImageNetの各データセットにおいて、摂動を加えた画像の誤分類を低減する一方で、クリーンデータの精度を維持し、微分免疫という新しい概念を用いて既存の防御と連携可能である。

ABSTRACT

Present attack methods can make state-of-the-art classification systems based on deep neural networks misclassify every adversarially modified test example. The design of general defense strategies against a wide range of such attacks still remains a challenging problem. In this paper, we draw inspiration from the fields of cybersecurity and multi-agent systems and propose to leverage the concept of Moving Target Defense (MTD) in designing a meta-defense for 'boosting' the robustness of an ensemble of deep neural networks (DNNs) for visual classification tasks against such adversarial attacks. To classify an input image, a trained network is picked randomly from this set of networks by formulating the interaction between a Defender (who hosts the classification networks) and their (Legitimate and Malicious) users as a Bayesian Stackelberg Game (BSG). We empirically show that this approach, MTDeep, reduces misclassification on perturbed images in various datasets such as MNIST, FashionMNIST, and ImageNet while maintaining high classification accuracy on legitimate test images. We then demonstrate that our framework, being the first meta-defense technique, can be used in conjunction with any existing defense mechanism to provide more resilience against adversarial attacks that can be afforded by these defense mechanisms. Lastly, to quantify the increase in robustness of an ensemble-based classification system when we use MTDeep, we analyze the properties of a set of DNNs and introduce the concept of differential immunity that formalizes the notion of attack transferability.

研究の動機と目的

• 最先端の深層ニューラルネットワークが幅広い敵対的攻撃に対して持続的に耐性を持つように対処すること。
• 下位のモデルの再訓練を必要とせず、一般化可能なメタディフェンス戦略を設計すること。
• 微分免疫という概念を通じて、アンサンブルベースのシステムにおける耐性向上を形式的かつ定量的に定式化すること。
• 既存の防御機構と互換性を持たせ、より良い敵対的耐性を実現するためのプラグイン層として機能させること。

提案手法

• 防御者とユーザー（正当または悪意ある）の間で、モデル選択がベイジアンスターリングゲームとしてモデル化される。防御者は、各入力に対してアンサンブル内のDNNをランダムに選択して分類する。
• 防御者の戦略は、攻撃者の行動に関する不確実性を考慮した上で期待効用を最大化する確率的戦略に基づき、事前に訓練済みのDNNの集合からネットワークを選択することに依存する。
• このフレームワークは、アンサンブル内のDNNの固有の多様性を活用して、標的モデルの予測不可能性を高め、敵対的例の転送性を阻害する。
• この防御は、基本的なDNNの内部構造や重みを変更しないランタイムメカニズムとして実装されており、あらゆる既存の防御と互換性を持つ。
• 微分免疫は、敵対的摂動に対するDNNアンサンブルの相対的頑健性を測定する形式的指標として導入される。
• 動的選択でさえも、選択されたモデルが依然として優れた性能を発揮することを保証することで、クリーン入力に対する高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的原則に基づく動的モデル選択戦略は、敵対的攻撃に対する深層ニューラルネットワークの頑健性を向上させることができるか？
• RQ2 提案されたMTDeepフレームワークは、MNIST、FashionMNIST、ImageNetといった多様なデータセットにおいて、敵対的摂動を加えた画像の誤分類をどの程度低減するか？
• RQ3 MTDeepは、既存の防御機構とどの程度統合可能であり、さらなる耐性向上を実現できるか？
• RQ4 微分免疫という概念は、アンサンブル内の異なるモデル間での敵対的攻撃の転送性を効果的に定量化・形式化できるか？

主な発見

• MTDeepは、MNIST、FashionMNIST、ImageNetの各データセットにおいて、敵対的摂動を加えた画像の誤分類率を顕著に低減する一方で、クリーンテスト画像の高精度を維持している。
• このフレームワークは、既存の防御機構と互換性があり、メタディフェンスレイヤーとして使用することで、累積的な耐性向上を実現している。
• 微分免疫の導入により、転送可能な敵対的攻撃に対するDNNアンサンブルの頑健性を形式的かつ測定可能な方法で評価できるようになった。
• 実験的結果から、ベイジアンスターリングゲームに基づく動的モデル選択が攻撃者にとっての予測不可能性を高め、転送ベース攻撃の成功率を低下させることを確認した。
• この防御は、クリーンデータでも強力な性能を発揮しており、頑健性と通常の精度の間にトレードオフがないことが示された。
• 本手法は一般化可能であり、下位のDNNの再訓練やアーキテクチャの変更を必要としないため、実世界のシステムへの導入が可能である。