[論文レビュー] Wild Patterns Reloaded: A Survey of Machine Learning Security against Training Data Poisoning

Antonio Emanuele Ciná, Kathrin Grosse+8 more|arXiv (Cornell University)|May 4, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本調査は、画像認識を含むさまざまなモダリティにおける訓練データの汚染攻撃と防御について、100篇以上の論文を体系的に分類し、機械学習のセキュリティに関する包括的な体系化を提供する。汚染攻撃のための統一的な二段階最適化フレームワークを導入し、脅威モデル、防御、未解決の課題をレビューし、複数の攻撃タイプに対するMLシステムの保護における重要なトレードオフや不可能性の結果を強調している。

ABSTRACT

The success of machine learning is fueled by the increasing availability of computing power and large training datasets. The training data is used to learn new models or update existing ones, assuming that it is sufficiently representative of the data that will be encountered at test time. This assumption is challenged by the threat of poisoning, an attack that manipulates the training data to compromise the model's performance at test time. Although poisoning has been acknowledged as a relevant threat in industry applications, and a variety of different attacks and defenses have been proposed so far, a complete systematization and critical review of the field is still missing. In this survey, we provide a comprehensive systematization of poisoning attacks and defenses in machine learning, reviewing more than 100 papers published in the field in the last 15 years. We start by categorizing the current threat models and attacks, and then organize existing defenses accordingly. While we focus mostly on computer-vision applications, we argue that our systematization also encompasses state-of-the-art attacks and defenses for other data modalities. Finally, we discuss existing resources for research in poisoning, and shed light on the current limitations and open research questions in this research field.

研究の動機と目的

• 過去15年間の100篇以上の論文を対象に、機械学習のセキュリティ、特に訓練データ汚染攻撃に対する最新状況を体系化し、批判的なレビューを行う。
• 汚染攻撃を無差別型、標的型、バックドア型に分類し、それらに対応する脅威モデルと整合した防御を提示する。
• 二段階最適化を用いた形式的フレームワークを導入し、汚染攻撃を統一的に定式化することで、攻撃と防御メカニズムの原理的分析を可能にする。
• トレードオフ、不可能性の結果、および汚染攻撃とその他のML脅威（例：回避攻撃、プライバシー漏洩）との相互作用を含む、未解決の研究課題を特定・議論する。
• 再現可能な評価を支援するため、データセット、ソフトウェアライブラリ、ベンチマークツールを含む主要な研究リソースを収集・強調する。

提案手法

• 本論文は、画像認識、自然言語処理、音声処理、およびその他のモダリティを含む、機械学習におけるデータ汚染攻撃に関する100篇以上の研究を網羅的にレビューした。
• 攻撃者がテスト時のモデル性能を低下させるように訓練データを最適化するという観点から、汚染攻撃を二段階最適化に基づく形式的フレームワークでモデル化した。
• 著者らは、汚染攻撃を主に3つのカテゴリに分類した：無差別型（全体の誤差を最大化）、標的型（特定の入力に注目）、バックドア型（誤標識付きのトリガーを埋め込む）。
• 防御策は、それらが対抗する攻撃タイプに応じて体系的に整理された。検出ベース、ロバストトレーニング、データの洗浄の方法が含まれる。
• 複数の攻撃タイプにわたる防御の耐性を評価し、特定の攻撃に過剰適合するなど、一般化能力に欠けるという制限を強調した。
• 近年の研究からの実験的および理論的知見を用いて、汚染攻撃とその他のML脅威（例：回避攻撃、プライバシー漏洩）との相互作用をさらに分析した。

実験結果

リサーチクエスチョン

• RQ1 機械学習におけるデータ汚染攻撃の主なカテゴリは何であり、それらの目的とメカニズムはどのように異なるか？
• RQ2 二段階最適化を用いることで、汚染攻撃をどのように形式的にモデル化・分析できるか。このフレームワークがもたらすインサイトは何か？
• RQ3 既存の防御メカニズムにおける主な制限とトレードオフは何か。なぜ一部の防御は複数または適応的攻撃に対して失敗するのか？
• RQ4 汚染攻撃は、機械学習システムにおける他の敵対的脅威（例：回避攻撃、プライバシー漏洩）とどのように相互作用するか？
• RQ5 実世界の展開において、機械学習モデルのデータ汚染攻撃に対するセキュリティを高めるために、未解決の研究課題や今後の方向性は何か？

主な発見

• 本調査では、バックドア型、標的型、無差別型の3つの主な攻撃カテゴリが特定され、それぞれが明確に異なる目的と脅威モデルを持つことが明らかになった。
• 多くの防御策は特定の攻撃タイプに過剰適合しており、複数または適応的攻撃に対して一般化能力に欠け、耐性が低いことが判明した。
• 不可能性の結果が存在する：たとえば、データの僅かな部分を標的とする特定のクラスの汚染攻撃に対しては、理論的に防御することが不可能である。
• 汚染攻撃と回避攻撃には強い相関関係がある。高いバックドア正確度は、回避攻撃の成功確率を低下させる傾向があり、逆もまた同様である。
• 汚染攻撃は、プライバシー保護防御（例：認証されたロバスト性半径の低下）を無効にすることにも利用できる。
• 本調査は、実践的な事例でその相互作用が明らかになっているにもかかわらず、汚染攻撃、回避攻撃、プライバシーの3つを統合的に扱う研究は依然として限られていることを強調した。