[論文レビュー] Security Matters: A Survey on Adversarial Machine Learning

Guofu Li, Pengjia Zhu+4 more|arXiv (Cornell University)|Oct 16, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用数 27

ひとこと要約

本調査は、画像分類における深層ニューラルネットワークにおける攻撃および防御戦略に焦点を当て、敵対的機械学習の包括的概要を提供する。非可視の摂動、物理的環境における攻撃、強化学習および安全に重要なシステムへの応用を検討し、攻撃者と防御者の間のミニマックスゲームをコアなパラダイムとして強調する。

ABSTRACT

Adversarial machine learning is a fast growing research area, which considers the scenarios when machine learning systems may face potential adversarial attackers, who intentionally synthesize input data to make a well-trained model to make mistake. It always involves a defending side, usually a classifier, and an attacking side that aims to cause incorrect output. The earliest studies on the adversarial examples for machine learning algorithms start from the information security area, which considers a much wider varieties of attacking methods. But recent research focus that popularized by the deep learning community places strong emphasis on how the "imperceivable" perturbations on the normal inputs may cause dramatic mistakes by the deep learning with supposed super-human accuracy. This paper serves to give a comprehensive introduction to a range of aspects of the adversarial deep learning topic, including its foundations, typical attacking and defending strategies, and some extended studies.

研究の動機と目的

• 敵対的機械学習の体系的レビューを提供し、基礎的概念、攻撃および防御技術、および拡張応用をカバーすること。
• 統計的意思決定理論および情報セキュリティにおける敵対的耐性の歴史的背景を検討し、初期の研究を現代の深層学習の課題と結びつけること。
• 特にコンピュータビジョンおよび画像分類において、深層ニューラルネットワークをだますために使用される非可視の摂動の役割を分析すること。
• 強化学習および自律走行車両などの物理的環境への展開を含む、複雑な環境における敵対的攻撃を調査すること。
• 非畳み込みアーキテクチャおよび頑健なモデル設計における、特に未解決の課題と今後の研究方向性を強調すること。

提案手法

• 勾配ベースの攻撃（例：FGSM、PGD）、回避攻撃、および汚染攻撃を含む、敵対的攻撃手法のサーベイと分類。
• 敵対的訓練、入力前処理、および認証可能耐性手法を含む防御メカニズムのレビュー。
• 強化学習における戦略的攻撃の分析、特に時間最適化および目的指向の敵対的シーケンス。
• 歪みを加えた停止標識や音声コマンドなどの物理的環境における敵対的攻撃を検討し、実世界での実現可能性を評価。
• 生成モデルと計画フレームワークを統合し、時間経過にわたってエージェントの行動を操作する敵対的シーケンスを構築すること。
• DeepXploreのようなシミュレーションプラットフォームを通じて耐性を評価し、自律走行車両のテストに敵対的学習を応用すること。

実験結果

リサーチクエスチョン

• RQ1 高精度なクリーンデータに対する性能を示すにもかかわらず、デジタル入力における非可視の摂動が、なぜ深層ニューラルネットワークの誤分類を引き起こすのか。
• RQ2 デジタル環境と物理的環境における敵対的攻撃の主な違いは何か。なぜ物理的攻撃はより実行が難しいのか。
• RQ3 強化学習環境において、敵対的攻撃を戦略的にタイミングをずらして実行することで、長期的な意思決定ポリシーをどのように操作できるか。
• RQ4 訓練段階における汚染攻撃が、マルウェア検出などの感受性の高い分野における機械学習モデルの耐性を、どのように損なうのか。
• RQ5 敵対的機械学習が自律走行車両や空港管制管制システムなどの安全に重要なシステムに及える影響は何か。

主な発見

• わずかな非可視の摂動で敵対的サンプルを生成でき、近いスーパーヒューマンの精度を示すモデルですら予測を著しく変更することができる。
• 停止標識の改ざんや音声コマンドの改変といった物理的環境における敵対的攻撃が、実世界のシナリオで実際に成功裏に実行され、展開済みシステムの耐性に挑戦している。
• 強化学習において、時間的に最適化され、かつ魅力的な攻撃シーケンスを生成することで、エージェントが特定のターゲット状態に到達するように操作できる。
• 生成モデルと計画フレームワークは、逐次意思決定タスクにおける効果的な敵対的シーケンスを構築するために不可欠である。
• 現在の敵対的学習研究は、主に畳み込みニューラルネットワークと画像分類に集中しており、非畳み込みアーキテクチャの研究は限定的である。
• 敵対的学習パラダイムは、同じミニマックスゲーム構造を活用する生成的敵対的ネットワーク（GANs）といった画期的なイノベーションを生んだ。