[論文レビュー] MULDEF: Multi-model-based Defense Against Adversarial Examples for Neural Networks

Siwakorn Srisakaokul, Yuhao Zhang+4 more|arXiv (Cornell University)|Aug 31, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 16

ひとこと要約

MulDef は、敵対的例に対して神経ネットワークの耐性を向上させるための新しい防御フレームワークであり、多様でマルチモデルのシステムの族を活用する。敵対的例で訓練された複数のモデルの中からランダムに選択することで、白箱攻撃において22–74%高い敵対的精度を達成しながら、クリーンな入力における通常の精度を維持する。

ABSTRACT

Despite being popularly used in many applications, neural network models have been found to be vulnerable to adversarial examples, i.e., carefully crafted examples aiming to mislead machine learning models. Adversarial examples can pose potential risks on safety and security critical applications. However, existing defense approaches are still vulnerable to attacks, especially in a white-box attack scenario. To address this issue, we propose a new defense approach, named MulDef, based on robustness diversity. Our approach consists of (1) a general defense framework based on multiple models and (2) a technique for generating these multiple models to achieve high defense capability. In particular, given a target model, our framework includes multiple models (constructed from the target model) to form a model family. The model family is designed to achieve robustness diversity (i.e., an adversarial example successfully attacking one model cannot succeed in attacking other models in the family). At runtime, a model is randomly selected from the family to be applied on each input example. Our general framework can inspire rich future research to construct a desirable model family achieving higher robustness diversity. Our evaluation results show that MulDef (with only up to 5 models in the family) can substantially improve the target model's accuracy on adversarial examples by 22-74% in a white-box attack scenario, while maintaining similar accuracy on legitimate examples.

研究の動機と目的

• 神経ネットワークが敵対的例に対して持続的に脆弱であるという問題に取り組み、特に白箱攻撃条件下での脆弱性を解消すること。
• 再攻撃、転送性、バイパス可能な蒸留といった既存の防御の限界を乗り越えるために、耐性の多様性を導入すること。
• 元のターゲットモデルのアーキテクチャや学習プロセスを変更しない一般化可能でスケーラブルな防御フレームワークを開発すること。
• モデル族の設計とランタイム選択を通じて、白箱およびブラックボックス攻撃の両方のシナリオで強力な性能を発揮すること。
• 最大5つのモデルでさえも、効率性と実用性を保ちながら高い防御能力を達成できるようにすること。

提案手法

• 以前に訓練されたモデルから作成された敵対的例を用いて、ターゲットモデルの複数のバリアントを生成することでモデル族を構築する。
• 攻撃者がどのモデルが使用されるかを予測できないように、推論時にランダムなモデル選択戦略を適用する。
• 各モデルを異なる敵対的例で訓練することで、攻撃が1つのモデルに有効であっても他のモデルでは失敗するように、耐性の多様性を確保する。
• モデル族内のすべてのモデルで同じアーキテクチャを用いるが、敵対的例のインジェクションによって訓練データの分布を変化させる。
• 各モデル内で敵対的訓練や蒸留といった既存の防御技術を活用し、個々の耐性を強化する。
• 正当な例に対する元のモデルのパフォーマンスを保つことで、クリーンな入力における高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 マルチモデル防御フレームワークは、単一モデル防御と比較して、白箱攻撃に対する耐性を向上させることができるか？
• RQ2 耐性の多様性は、敵対的機械学習における転送性と再攻撃の脆弱性をどれだけ効果的に軽減できるか？
• RQ3 モデル族に5つ程度の少数のモデルを用いる場合、敵対的精度を著しく向上させつつ、クリーン精度を劣化させない程度にまで到達できるか？
• RQ4 推論時にランダムなモデル選択が、蒸留がバイパスされた場合でも勾配に基づく攻撃を効果的に遮断できるか？
• RQ5 提案されたフレームワークは、アーキテクチャの変更や再学習を一切行わずに、任意の事前学習済みモデルに一般化して適用可能か？

主な発見

• MulDef は、白箱攻撃（FGSM、C&W、PGD）下で MNIST および CIFAR-10 において敵対的精度を22–74%向上させ、ベースライン防御を著しく上回る。
• クリーン（敵対的でない）例ではほぼ同一の精度を維持しており、通常のパフォーマンスに劣化がないことが示された。
• ブラックボックス攻撃のシナリオでも、敵対的精度が2–10%向上しており、広範なスケールの耐性を示している。
• モデル族に最大5つのモデルしか使用しなくても、強力な結果を達成しており、スケーラビリティと効率性を実証した。
• 耐性の多様性により、転送性や再攻撃が効果的に防止され、1つのモデルで有効な敵対的例は、他のモデルでは失敗する。
• このアプローチは一般化可能であり、元のモデルのアーキテクチャや学習プロセスを変更する必要がなく、既存のモデルへの容易な統合が可能である。