[論文レビュー] Towards the Science of Security and Privacy in Machine Learning

Nicolas Papernot, Patrick McDaniel+2 more|arXiv (Cornell University)|Nov 11, 2016

Privacy-Preserving Technologies in Data被引用数 191

ひとこと要約

この SoK は ML のセキュリティとプライバシーを調査し、MLパイプラインの統一脅威モデル、攻撃/防御の分類、PACベースの解釈、そして no free lunch theorem を強調し、精度と堅牢性のトレードオフを浮き彫りにします。

ABSTRACT

Advances in machine learning (ML) in recent years have enabled a dizzying array of applications such as data analytics, autonomous systems, and security diagnostics. ML is now pervasive---new systems and models are being deployed in every domain imaginable, leading to rapid and widespread deployment of software based inference and decision making. There is growing recognition that ML exposes new vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited. We systematize recent findings on ML security and privacy, focusing on attacks identified on these systems and defenses crafted to date. We articulate a comprehensive threat model for ML, and categorize attacks and defenses within an adversarial framework. Key insights resulting from works both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by formally exploring the opposing relationship between model accuracy and resilience to adversarial manipulation. Through these explorations, we show that there are (possibly unavoidable) tensions between model complexity, accuracy, and resilience that must be calibrated for the environments in which they will be used.

研究の動機と目的

• データ全体のパイプラインを通じて機械学習を組み込むシステムに対する統一脅威モデルを導入する。
• 敵対的フレームワーク内で、ML、セキュリティ、統計、理論の観点から攻撃と防御を分類する。
• 機密性、完全性、可用性(CIA) およびプライバシーの観点にわたる、訓練時および推論時の攻撃を分析する。
• 分布ドリフトへの堅牢性、形式的なプライバシー保証、公平性、説明責任などの防御目標を論じる。
• モデルの複雑さ、精度、対敵操作へのレジリエンスのトレードオフを説明するno free lunch theoremを確立する。

提案手法

• データ収集、訓練、推論プロセスを含む統一されたML脅威モデルを提示する。
• 推論時のホワイトボックス/ブラックボックス、訓練時の poisoning およびデータ操作を含む、敵対的能力と攻撃者の目標を分類する。
• 実証的リスク最小化を敵対的リスクと関連付けるために PAC 学習理論の枠組みで攻撃/防御を位置付ける。
• MLシステム内の機密性/プライバシー、完全性、可用性を分析し、攻撃がモデルレベルおよびパイプラインレベルでどのように現れるかを検討する。
• 分布ドリフトへの堅牢性、差分プライバシー、公平性、透明性を含む防御を論じる。
• 限られたデータの下での本質的なトレードオフを示す adversarial ML の no free lunch theorem を提案する。

実験結果

リサーチクエスチョン

• RQ1 データパイプライン全体に機械学習を組み込むシステムに対する網羅的な脅威モデルは何か？
• RQ2 ML における攻撃と防御を PAC 学習理論を通じてどのように分類・理解できるか？
• RQ3 モデルの精度、敵対的操作への堅牢性、データサイズの根本的なトレードオフは何か？
• RQ4 セキュリティ/プライバシーの目標は、MLパイプラインにおける機密性、完全性、可用性、そしてプライバシーにどのように対応するか？

主な発見

• MLシステムにおけるモデルの複雑さ、精度、および敵対的操作に対するレジリエンスの間には緊張関係が存在する。
• 攻撃はデータ収集、訓練、推論の段階を標的とし、機密性、完全性、可用性、プライバシーに影響を及ぼすことがある。
• PACベースの視点は、実証的リスク最小化を敵対的リスクと関連づけ、敵対的データシフト下の限界を明確にする。
• Poisoning attacks は、特定の条件下で敵対的に操作されたデータの一部が性能を著しく低下さうることを示す。
• no free lunch property は、堅牢性を達成するにはしばしば精度やデータ要件とのトレードオフが伴うことを示している。
• 統一された脅威モデルと体系的な分類法は、ML、セキュリティ、統計、理論コミュニティに跨る防御と研究を導くことができる。