[論文レビュー] Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses

Micah Goldblum, Dimitris Tsipras+7 more|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning被引用数 24

ひとこと要約

本稿は、機械学習におけるデータ汚染およびバックドア攻撃の包括的な分類を提示し、訓練専用攻撃、二重訓練/テスト攻撃（バックドア）、および防御戦略を分類している。多様な脅威モデルを統一し、検出およびロバストトレーニングに基づく防御の分析を行い、特にフェデレーテッド学習およびトランスファーラーニング環境におけるセキュリティ、精度、プライバシーのトレードオフに関する主要な未解決問題を特定している。

ABSTRACT

As machine learning systems grow in scale, so do their training data requirements, forcing practitioners to automate and outsource the curation of training data in order to achieve state-of-the-art performance. The absence of trustworthy human supervision over the data collection process exposes organizations to security vulnerabilities; training data can be manipulated to control and degrade the downstream behaviors of learned models. The goal of this work is to systematically categorize and discuss a wide range of dataset vulnerabilities and exploits, approaches for defending against these threats, and an array of open problems in this space. In addition to describing various poisoning and backdoor threat models and the relationships among them, we develop their unified taxonomy.

研究の動機と目的

• 機械学習におけるデータセットの脆弱性、特に信頼できないまたは自動化されたデータ収集に起因するものを体系化し、分類すること。
• データ汚染およびバックドア攻撃の脅威状況を分析し、訓練専用攻撃と二重訓練/テスト（バックドア）攻撃の違いを明確にすること。
• 汚染攻撃に対する既存の防御機構——検出ベースおよびトレーニングベース——を評価すること。
• フェデレーテッド学習およびトランスファーラーニング環境において特に顕著な、耐性、効率性、プライバシー保護型防御に関する重要な未解決問題を同定すること。
• 汚染攻撃の脅威下における現代のMLシステムにおけるモデルの精度、セキュリティ、データプライバシーの間の緊張関係を強調すること。

提案手法

• 攻撃手法（例：バイレベル最適化、ラベル反転、影響関数）および脅威モデル（訓練専用、バックドア、フェデレーテッド）に基づく、統一されたデータ汚染攻撃の分類を提案する。
• 最適化戦略（例：バイレベル、p-改ざん）および標的（新規学習またはファインチューニング対象モデル）に基づいて攻撃を分類し、モデルに依存しない対比モデルに依存するアプローチの違いを明確にする。
• 補助的なクリーン/汚染モデルと表現の異常検出を用いて、汚染データまたはモデルを特定する検出ベースの防御をレビューする。
• 再訓練を完全に再開することなく汚染の影響を軽減する、ロバスト最適化や後処理補正などのトレーニングベースの防御を検討する。
• 特にデータ分布が非均一なフェデレーテッドラーニング環境において、証明可能な防御および微分プライバシーの汚染緩和可能性を分析する。
• 現在の防御の限界を評価し、トレーニングプロトコルやデータへのアクセスなしに攻撃を回避可能であること、および検出手法の高い計算コストを指摘する。

実験結果

リサーチクエスチョン

• RQ1 ラベル反転、特徴量の衝突、バイレベル最適化といった異なるデータ汚染攻撃戦略は、その影響および検出可能性においてどのように異なるのか？
• RQ2 トレーニングプロトコルやデータへのアクセスなしに、汚染攻撃を回避する防御をどの程度構築できるのか？
• RQ3 特にフェデレーテッドラーニングにおいて、データ汚染の存在下で、モデルの精度、セキュリティ、データプライバシーの間の根本的トレードオフは何か？
• RQ4 なぜ異常検出ベースの防御手法は明白でない汚染例に対して効果を発揮しないのか？これは非均一なデータ環境でどのように是正できるか？
• RQ5 分散型環境（フェデレーテッドラーニングなど）における大規模で現実世界のモデルに、データ汚染に対する証明可能な防御を意味的にスケーリング可能か？

主な発見

• オープンワールドのデータ収集に起因して、データ汚染およびバックドア攻撃がますます一般的になっている。例として、Tayチャットボットの被害やImageNetにおけるマルウェアの混入が挙げられる。
• 多くの防御は、訓練データへのアクセスなしに回避可能であることが示されており、汚染済みおよびクリーンな例の内部表現を一致させることで実現される攻撃が存在する。
• 検出ベースの防御は、しばしば高価な補助モデルのトレーニングとクリーンデータセットを必要とし、実世界の展開において実用性が制限される。
• 微分プライバシーにおける理論的最悪ケースの境界と実効的性能の間に顕著なギャップが存在し、これは弱い攻撃またはあまりに楽観的すぎる境界の可能性を示唆している。
• 特にフェデレーテッドラーニングにおいて、ローカルデータの影響がグローバル更新に与える影響をモデル化する複雑さのため、大規模なモデルに対する証明可能な防御は実用的でない。
• 不正なクライアントが健全だが特異なデータ分布を模倣する場合、フェデレーテッドラーニングにおける異常検出は失敗し、クライアントレベルでの区別が極めて困難になる。