[論文レビュー] A reading survey on adversarial machine learning: Adversarial attacks and their understanding

Shashank Kotyan|arXiv (Cornell University)|Aug 7, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本調査は、攻撃タイプ、脅威モデル、最適化手法など、複数の視点から深層学習における敵対的攻撃を包括的に分類し、そのメカニズム、脆弱性、限界を分析している。既存の防御策をレビューし、耐性の欠如や理論的理解の不足といった主な課題を特定し、適応的攻撃、ブラックボックス分析、予防的防御フレームワークといった今後の研究分野を提示している。

ABSTRACT

Deep Learning has empowered us to train neural networks for complex data with high performance. However, with the growing research, several vulnerabilities in neural networks have been exposed. A particular branch of research, Adversarial Machine Learning, exploits and understands some of the vulnerabilities that cause the neural networks to misclassify for near original input. A class of algorithms called adversarial attacks is proposed to make the neural networks misclassify for various tasks in different domains. With the extensive and growing research in adversarial attacks, it is crucial to understand the classification of adversarial attacks. This will help us understand the vulnerabilities in a systematic order and help us to mitigate the effects of adversarial attacks. This article provides a survey of existing adversarial attacks and their understanding based on different perspectives. We also provide a brief overview of existing adversarial defences and their limitations in mitigating the effect of adversarial attacks. Further, we conclude with a discussion on the future research directions in the field of adversarial machine learning.

研究の動機と目的

• 攻撃タイプ、脅威モデル、最適化手法などの異なる視点に基づいて敵対的攻撃を体系的に分類すること。
• 現在の敵対的防御の限界を分析し、特に攻撃タイプにわたる一貫性や一般化の欠如を特定すること。
• 敵対的機械学習における主な課題を特定すること、例えば学習された特徴の脆さや最適化問題の理論的非可解性など。
• 適応的攻撃、ブラックボックス評価、予防的防御メカニズムといった今後の研究分野を提案すること。
• 研究者に対して、敵対的脆弱性とその実世界のAIの安全性・セキュリティへの影響を構造的に理解する手がかりを提供すること。

提案手法

• 2013年から2020年にかけて発表された敵対的攻撃および防御に関する文献を体系的にレビューする。
• 回避攻撃対比汚染攻撃、ホワイトボックス対ブラックボックス、標的攻撃対非標的攻撃といった次元に沿って敵対的攻撃を分類する。
• 勾配に基づく手法（例：FGSM や PGD）を含む、敵対的例を生成するための最適化技術を分析する。
• 敵対的訓練、入力変換、勾配マスキングを含む既存の防御メカニズムをレビューし、その限界を評価する。
• 先行研究からの実証的証拠を用いて、現在のモデルの脆さと一般化可能な耐性の欠如を強調する。
• 分野における理論的・実証的・アーキテクチャ的欠陥に基づき、今後の研究分野への知見を統合する。

Figure 1: Timeline of adversarial attacks and samples in adversarial machine learning, compared to work on the security of deep networks [ 10 ] .

実験結果

リサーチクエスチョン

• RQ1 どのようにして、異なる脅威モデルや攻撃目的にわたる敵対的攻撃を体系的に分類できるか？
• RQ2 なぜ現在の敵対的防御は、多様な攻撃タイプやモデルアーキテクチャにわたって一般化に失敗するのか？
• RQ3 微小な入力摂動の存在下で深層ニューラルネットワークが脆くなる根本的な理由は何なのか？
• RQ4 敵対的例は、ニューラルネットワークの特徴学習および推論プロセスの限界をどのように露呈するのか？
• RQ5 敵対的攻撃に対して耐性があり、適応的かつ理論的に裏付けられた防御を構築するうえでの主な未解決課題は何か？

主な発見

• 敵対的攻撃は、しばしば人間が認識できない摂動で誤分類を引き起こす、深層ニューラルネットワークの非耐性を利用する。
• 現在の防御策は主に反応的であり、より強力な適応的攻撃に対しては失敗しており、多くの場合、真の耐性ではなく勾配マスキングに依存している。
• 理論的分析により、敵対的例は非凸的かつ非線形な最適化問題の解であることが明らかになり、解析や防御が困難であることが示された。
• 敵対的例はしばしばモデルが偶然的で意味のない特徴に注目する原因となり、人間とモデルの推論の間の不整合を示している。
• ブラックボックス攻撃はますます効果的であり、既存のモデルは監査性に欠けていることが多く、実世界の展開における信頼性とセキュリティを制限している。
• 予防的防御フレームワークや、より耐性があり、脆さの少ない特徴を学習する技術の開発が、モデルの耐性を高めるために極めて重要である。

Figure 2: Visualisation of formal definition for Neural Network