[論文レビュー] Poisoning the Unlabeled Dataset of Semi-Supervised Learning

Nicholas Carlini|arXiv (Cornell University)|Jan 1, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、半教師あり学習モデルが、ラベルなしデータを標的とするデータ汚染攻撃に対して脆弱であることを明らかにしている。わずか0.1%の悪意ある改ざんされたラベルなし例を用いるだけで、攻撃者は任意のテスト入力を望みのラベルに誤分類させることができる。この攻撃は複数のデータセットや手法で有効であり、より高精度なモデルであるほど攻撃にさらされやすくなる。著者らは、この脅威を軽減するための2つの防御手法を提案する。

ABSTRACT

Semi-supervised machine learning models learn from a (small) set of labeled training examples, and a (large) set of unlabeled training examples. State-of-the-art models can reach within a few percentage points of fully-supervised training, while requiring 100x less labeled data. We study a new class of vulnerabilities: poisoning attacks that modify the unlabeled dataset. In order to be useful, unlabeled datasets are given strictly less review than labeled datasets, and adversaries can therefore poison them easily. By inserting maliciously-crafted unlabeled examples totaling just 0.1% of the dataset size, we can manipulate a model trained on this poisoned dataset to misclassify arbitrary examples at test time (as any desired label). Our attacks are highly effective across datasets and semi-supervised learning methods. We find that more accurate methods (thus more likely to be used) are significantly more vulnerable to poisoning attacks, and as such better training methods are unlikely to prevent this attack. To counter this we explore the space of defenses, and propose two methods that mitigate our attack.

研究の動機と目的

• 半教師あり学習モデルが、そのラベルなし学習データに対する汚染攻撃に対してどれほど脆弱であるかを調査すること。
• 攻撃者がわずか0.1%の改ざんされたラベルなし例を注入することで、モデルの挙動を操作できることを実証すること。
• モデルの精度とこのような汚染攻撃に対する感受性との関係を分析すること。
• ラベルなしデータ汚染攻撃に対する効果的な防御手法を開発・評価すること。

提案手法

• 攻撃は、訓練中にモデルを誤分類に導くように戦略的に設計された敵対的ラベルなし例を生成する。
• この手法は、ラベルなしデータからの疑似ラベル付けに依存するモデルの性質を悪用し、誤分類の挙動を広がりさせる。
• 勾配ベースの最適化を用いて、特定のテスト入力に対するモデルの誤分類率を最大化するラベルなし例を生成する。
• 攻撃は訓練フェーズに適用され、汚染されたラベルなしデータと少量のラベル付き例を併用する。
• データの洗浄と頑健な訓練技術に基づく防御を提案し、汚染された例を検出・緩和する。
• 複数の半教師あり学習ベンチマークを用いた実験的評価を通じて、防御の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習におけるラベルなしデータへの汚染攻撃は、最小限のデータ注入で高い成功確率を達成できるか？
• RQ2 半教師ありモデルの精度は、ラベルなしデータ汚染攻撃に対する感受性とどのように相関するか？
• RQ3 ラベルなしデータセットに存在する、モデルの誤分類を引き起こす有効な敵対的例の特徴は何か？
• RQ4 既存の防御手法は、半教師あり学習における汚染されたラベルなし例を効果的に検出し、無効化できるか？
• RQ5 この攻撃は、多様なデータセットや半教師あり学習アーキテクチャにおいても効果を示すか？

主な発見

• ラベルなしデータのわずか0.1%を改ざんする汚染攻撃によって、任意の目的のテスト例を望みのラベルに誤分類させることができる。
• より高精度な半教師あり学習モデルは、汚染攻撃に対して著しく感受性が高く、性能と耐性のトレードオフが顕著である。
• この攻撃は複数のデータセットや半教師あり学習手法（包括的かつ最先端の手法を含む）で有効である。
• 提案された防御は、汚染攻撃の成功率を低下させ、緩和が可能であることを示している。
• モデルが信頼度ベースの疑似ラベル付けを使用しても、攻撃は依然として効果を示し、改ざん例の巧妙さ（巧妙性）を示している。