[論文レビュー] Adversarial Security Attacks and Perturbations on Machine Learning and Deep Learning Methods

Arif Siddiqi|arXiv (Cornell University)|Jul 17, 2019

Adversarial Robustness in Machine Learning参考文献 47被引用数 7

ひとこと要約

このレビュー論文は、機械学習およびディープラーニングモデルにおける敵対的セキュリティ攻撃および摂動について包括的な概要を提供し、トレーニング段階と推論段階における脆弱性に焦点を当てている。既存の攻撃タイプ、防御メカニズム、研究トレンドを統合し、サイバーセキュリティ分野およびAI分野の新規研究者を支援する。実用的洞察と、安全なMLの展開に不可欠な基礎的知識に重点を置いている。

ABSTRACT

The ever-growing big data and emerging artificial intelligence (AI) demand the use of machine learning (ML) and deep learning (DL) methods. Cybersecurity also benefits from ML and DL methods for various types of applications. These methods however are susceptible to security attacks. The adversaries can exploit the training and testing data of the learning models or can explore the workings of those models for launching advanced future attacks. The topic of adversarial security attacks and perturbations within the ML and DL domains is a recent exploration and a great interest is expressed by the security researchers and practitioners. The literature covers different adversarial security attacks and perturbations on ML and DL methods and those have their own presentation styles and merits. A need to review and consolidate knowledge that is comprehending of this increasingly focused and growing topic of research; however, is the current demand of the research communities. In this review paper, we specifically aim to target new researchers in the cybersecurity domain who may seek to acquire some basic knowledge on the machine learning and deep learning models and algorithms, as well as some of the relevant adversarial security attacks and perturbations.

研究の動機と目的

• 機械学習およびディープラーニングシステムにおける敵対的セキュリティ脅威について統合的かつ包括的な理解が求められるようになるという急増するニーズに対応すること。
• サイバーセキュリティ分野の新規研究者に、ML/DLモデルの基礎的知識と関連する敵対的リスクについての基礎を提供すること。
• 敵対的攻撃および摂動の種類を体系的かつ理解しやすい方法で分類・分析すること。
• ML/DLアプリケーションにおける敵対的耐性分野における現在の研究ギャップと新たなトレンドを浮き彫りにすること。
• 悪意ある摂動下におけるMLモデルの脅威表面を理解するための参考資料としての役割を果たすこと。

提案手法

• 2010年から2019年までの機械学習およびディープラーニングモデルにおける敵対的攻撃および摂動に関する体系的文献レビュー。
• 脅威モデル、攻撃表面、摂動タイプ（例：ホワイトボックス、ブラックボックス、標的攻撃、非標的攻撃）に基づく敵対的攻撃の分類。
• 生成手法と目的に基づき、FGSM、PGD、敵対的パッチ攻撃などの摂動技術を分類。
• 敵対的トレーニング、入力前処理、ロバスト最適化技術などの防御戦略の分析。
• コンピュータビジョンやNLPなどの異なる応用分野における攻撃と防御のトレンドの統合的分析。
• モデルアーキテクチャ、データ、敵対的脆弱性の関係を理解するための概念的フレームワークの提示。

実験結果

リサーチクエスチョン

• RQ1 機械学習およびディープラーニングモデルを標的とする主な敵対的攻撃の種類は何ですか？
• RQ2 異なる敵対的摂動技術は、トレーニング段階および推論段階でモデルの脆弱性をどのように悪用しますか？
• RQ3 敵対的機械学習におけるホワイトボックス、ブラックボックス、グレイボックスの攻撃シナリオの主な違いは何ですか？
• RQ4 提案された防御メカニズムは何か、そして進化を続ける攻撃戦略に対してどれほど効果的ですか？
• RQ5 ML/DLモデルに対する敵対的脅威から守るうえでの未解決の課題と今後の研究方向性は何ですか？

主な発見

• 敵対的攻撃は、入力データに最小限で目に見えない摂動を加えることで、モデルの性能を著しく低下させる可能性がある。
• FGSM や PGD といった勾配ベースの手法は、そのシンプルさと高い成功率のおかげで、最も効果的かつ広く使われている攻撃技術の一つである。
• 敵対的トレーニングは耐性を高めるが、通常、クリーンデータにおける精度が低下し、計算コストが増加するという代償を伴う。
• ブラックボックス攻撃はホワイトボックスバージョンほど強力ではないが、モデル間の転送性を活用すれば依然として非常に有効である。
• 標準化されたベンチマークや評価プロトコルが不足しており、攻撃および防御のパフォーマンス報告が一貫性のない状況にある。
• 多様なアーキテクチャやデータ分布にわたり効果的な、堅牢で一般化可能な防御策の開発が急務である。