[論文レビュー] A Tutorial on Adversarial Learning Attacks and Countermeasures

Cato Pauling, Michael Gimson+3 more|arXiv (Cornell University)|Feb 21, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

このチュートリアルは、悪意のある機械学習攻撃（回避攻撃、汚染攻撃、モデル抽出、推論攻撃）について包括的な概要を提供し、敵対的訓練、防御的 distillation、MagNetの二段階フレームワーク（検出器と再構成器）といった最新の防御メカニズムを評価する。再構成と多様体の近接性に基づく防御は、入力を綺麗なデータ分布に近づけることで、敵対的例を効果的に軽減できることを示している。

ABSTRACT

Machine learning algorithms are used to construct a mathematical model for a system based on training data. Such a model is capable of making highly accurate predictions without being explicitly programmed to do so. These techniques have a great many applications in all areas of the modern digital economy and artificial intelligence. More importantly, these methods are essential for a rapidly increasing number of safety-critical applications such as autonomous vehicles and intelligent defense systems. However, emerging adversarial learning attacks pose a serious security threat that greatly undermines further such systems. The latter are classified into four types, evasion (manipulating data to avoid detection), poisoning (injection malicious training samples to disrupt retraining), model stealing (extraction), and inference (leveraging over-generalization on training data). Understanding this type of attacks is a crucial first step for the development of effective countermeasures. The paper provides a detailed tutorial on the principles of adversarial machining learning, explains the different attack scenarios, and gives an in-depth insight into the state-of-art defense mechanisms against this rising threat .

研究の動機と目的

• 異なる攻撃タイプとシステム段階にわたる敵対的機械学習の脅威を体系化して理解すること。
• 自動運転車両や防衛システムなどの安全が求められる応用分野における機械学習モデルの脆弱性を分析すること。
• 敵対的訓練、防御的 distillation、再構成ベースのアプローチを含む、既存の防御メカニズムを評価すること。
• 特にリソース制約のある環境において、効果的な防御を展開する際の課題を強調すること。
• 攻撃表面、能力、目的に基づいて攻撃を分類する統一された脅威モデルを提示すること。

提案手法

• 攻撃表面、攻撃者能力、敵対的目標に基づく統一された脅威モデルを提示し、学習段階と推論段階に適用する。
• 攻撃を4つのカテゴリに分類する：回避（入力の摂動）、汚染（悪意のある訓練データの注入）、モデル抽出（抽出）、推論（過剰一般化の悪用）。
• MagNet を導入する。これは2段階の防御から成る：自己符号化器の再構成誤差を用いて敵対的入力を検出する検出器と、入力をデータ多様体上に再構成する再構成器。
• 自己符号化器を用いて綺麗なデータの分布を学習し、敵対的例を健全な対応に再構成可能にする。
• 再構成誤差に基づく確率的距離測定を用いて、綺麗な入力と敵対的入力を区別し、耐性を向上させる。
• 再構成器で複数の自己符号化器をランダムに選択することで、防御の多様性を高め、敵対的攻撃への適応を困難にする。

実験結果

リサーチクエスチョン

• RQ1 攻撃表面、能力、目的に基づいて、敵対的攻撃をどのように体系的に分類できるか？
• RQ2 攻撃者が悪用できる、学習段階と推論段階における機械学習モデルの主な脆弱性は何か？
• RQ3 MagNet のような再構成ベースの防御は、敵対的例の検出と是正にどの程度効果的か？
• RQ4 特にリソース制約のあるシステムにおいて、防御の耐性と計算オーバーヘッドの間にはどのようなトレードオフがあるか？
• RQ5 単一モデルの防御を回避するように攻撃を調整する適応的攻撃者に対して、防御をどのようにして強靱化できるか？

主な発見

• 敵対的攻撃は、自動運転車両や防衛システムなどの安全が求められる分野において、機械学習システムに深刻な脅威をもたらす。
• 敵対的訓練や防御的 distillation といった防御は耐性を向上させるが、適応的攻撃者に対しては完全に保護しない可能性がある。
• MagNet の検出器は、再構成誤差を測定することで敵対的例を効果的に同定する。誤差が大きいほど、データ多様体からの逸脱が顕著である。
• MagNet の再構成器は、敵対的入力を綺麗なデータに近づけることで効果的に再構成し、誤分類率を低下させる。
• 再構成器で複数のランダム選択された自己符号化器を使用することで、防御の多様性が向上し、敵対的攻撃の成功確率が低下する。
• 進展は見られるが、特に計算リソースが制限されるシステムでは、防御の効率的導入が依然として困難である。