[論文レビュー] Attacks in Adversarial Machine Learning: A Systematic Survey from the Life-cycle Perspective

Baoyuan Wu, Zihao Zhu+4 more|arXiv (Cornell University)|Feb 19, 2023

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

統一的でライフサイクルに基づく敵対的機械学習（AML）攻撃の総説。バックドア、ウェイト、敵対的サンプル攻撃に対する一般的なフレームワークと分類法を、事前学習、学習、事後学習、デプロイ、推論の各段階に跨って提示する。

ABSTRACT

Adversarial machine learning (AML) studies the adversarial phenomenon of machine learning, which may make inconsistent or unexpected predictions with humans. Some paradigms have been recently developed to explore this adversarial phenomenon occurring at different stages of a machine learning system, such as backdoor attack occurring at the pre-training, in-training and inference stage; weight attack occurring at the post-training, deployment and inference stage; adversarial attack occurring at the inference stage. However, although these adversarial paradigms share a common goal, their developments are almost independent, and there is still no big picture of AML. In this work, we aim to provide a unified perspective to the AML community to systematically review the overall progress of this field. We firstly provide a general definition about AML, and then propose a unified mathematical framework to covering existing attack paradigms. According to the proposed unified framework, we build a full taxonomy to systematically categorize and review existing representative methods for each paradigm. Besides, using this unified framework, it is easy to figure out the connections and differences among different attack paradigms, which may inspire future researchers to develop more advanced attack paradigms. Finally, to facilitate the viewing of the built taxonomy and the related literature in adversarial machine learning, we further provide a website, \ie, \url{http://adversarial-ml.com}, where the taxonomies and literature will be continuously updated.

研究の動機と目的

• 既存の攻撃パラダイムを包含するAMLの一般的定義と統一された数学的フレームワークを提供する。
• ライフサイクル段階を横断してAML攻撃を分類・レビューする完全な分類法を開発する。
• 攻撃パラダイム間の関連と差異を明らかにし、今後の研究と防御の指針とする。

提案手法

• 隠密性、良性一貫性、敵対的不整合性の3要素をもつ一般的なAML定式化を提案する。
• 一般的定式化をバックドア、ウェイト、敵対的サンプル攻撃パラダイムに特化させ、用語と目的を指定する（Eqs. 2–4）。
• データ汚染ベースのバックドア攻撃を、トリガー、サンプル選択、フュージョン、ターゲットクラスで分類する（Eq. 5 and Section III）。
• トリガーの可視性（可視/不可視）、意味論的意味、トリガー設計（手動 vs. 学習可能）、デジタル vs. 物理的トリガーを区別する（Section III）。
• サンプル選択戦略（ランダム vs. 非ランダム）とトリガー融合戦略（加法的 vs. 非加法的；サンプル非依存 vs. サンプル特異的）を区別する（Sections III-C–III-D）。

実験結果

リサーチクエスチョン

• RQ1 複数のライフサイクル段階に跨る統一的な数学的フレームワーク内でAML攻撃をどのように形式化できるか？
• RQ2 バックドア、ウェイト、敵対的サンプル攻撃の典型的な分類と相互関係は何か？
• RQ3 トリガー設計、サンプル選択、フュージョンの選択が、訓練および推論段階全体での攻撃の隠密性と成功にどのように影響するか？
• RQ4 AMLパラダイム全体にわたる堅牢な防御開発を指南する洞察は何か？

主な発見

• 統一された AML の定義は、三つの条件：隠密性、良性一貫性、敵対的不整合性に依存する。
• 三つの攻撃パラダイムが、段階を跨いで特定・定式化されている：バックドア（事前学習から推論まで）、ウェイト（事後学習展開から推論まで）、および敵対的サンプル（推論）。
• バックドア攻撃は、データ汚染と訓練制御可能な変種を介して分析され、データとトリガー設計の詳細な定式化（Eq. 2）を含む。
• ウェイト攻撃は、パラメータの修正とビット反転シナリオの両方を含むように正式化され、正常な良性挙動を保証しつつ悪意のある挙動を誘発する損失項が対応する（Eq. 3）。
• 推論時の敵対的サンプルは、入力の摂動によって誤った予測を引き起こす一方、攻撃者のモデルを固定したままにする定義（Eq. 4）。
• データ汚染ベースのバックドア攻撃の包括的分類法を提供し、トリガー生成（可視/不可視、意味論的/非意味論的、手動/学習可能、デジタル/物理的）およびサンプル選択とトリガー融合戦略を網羅する（Sections III-B–III-D）。