[論文レビュー] An Overview of Privacy in Machine Learning

Emiliano De Cristofaro|arXiv (Cornell University)|May 18, 2020

Privacy-Preserving Technologies in Data参考文献 52被引用数 15

ひとこと要約

本論文は、機械学習におけるプライバシー脅威について包括的なサーベイを提供しており、特にメンバーインファレンス、モデル逆転、プロパティインファレンス、およびモデル盗難攻撃に焦点を当てる。差分プライバシーと敵対的正則化を含む既存の防御策をレビューするとともに、評価の欠落、実世界への影響評価、GDPRなどのデータ保護規制との整合性の欠如といった重要なギャップを指摘する。

ABSTRACT

Over the past few years, providers such as Google, Microsoft, and Amazon have started to provide customers with access to software interfaces allowing them to easily embed machine learning tasks into their applications. Overall, organizations can now use Machine Learning as a Service (MLaaS) engines to outsource complex tasks, e.g., training classifiers, performing predictions, clustering, etc. They can also let others query models trained on their data. Naturally, this approach can also be used (and is often advocated) in other contexts, including government collaborations, citizen science projects, and business-to-business partnerships. However, if malicious users were able to recover data used to train these models, the resulting information leakage would create serious issues. Likewise, if the inner parameters of the model are considered proprietary information, then access to the model should not allow an adversary to learn such parameters. In this document, we set to review privacy challenges in this space, providing a systematic review of the relevant research literature, also exploring possible countermeasures. More specifically, we provide ample background information on relevant concepts around machine learning and privacy. Then, we discuss possible adversarial models and settings, cover a wide range of attacks that relate to private and/or sensitive information leakage, and review recent results attempting to defend against such attacks. Finally, we conclude with a list of open problems that require more work, including the need for better evaluations, more targeted defenses, and the study of the relation to policy and data protection efforts.

研究の動機と目的

• 機械学習としてのサービス（MLaaS）の文脈において、機械学習におけるプライバシー脅威を体系的かつ包括的にレビューすること。
• メンバーインファレンスやモデル逆転のようなプライバシー攻撃の実現可能性と実世界への影響を分析すること。
• 差分プライバシーと敵対的正則化を含む既存の防御メカニズムを、ユーティリティ-プライバシーのトレードオフの観点から評価すること。
• 評価フレームワーク、実用的導入、GDPRのようなデータ保護規制との整合性における、重要な研究ギャップを同定すること。
• 標準ベンチマークデータセットを超えた、より厳密で現実的なプライバシー防御の評価を促すこと。

提案手法

• メンバーインファレンス、モデル逆転、プロパティインファレンス、およびモデル／機能盗難を含む、機械学習におけるプライバシー攻撃に関する体系的文献レビューを実施する。
• 攻撃者のモデルと脅威設定に基づいて攻撃を分類し、ホワイトボックス、ブラックボックス、クエリベースの脅威モデルの違いを明確にする。
• 差分プライバシー（パラメータ化されたノイズ挿入を伴う）、敵対的訓練、ドロップアウト、重み正規化、勾配共有などの防御技術をレビューする。
• 特に差分プライバラスな学習において、モデルのユーティリティとプライバシー保護のトレードオフを、プライバシー予算（ε）や精度損失といった指標を用いて分析する。
• 既存の研究からの実験的結果を用いて、防御の有効性を評価する。特にJayaramanとEvans（2019）によるε-ユーティリティのトレードオフに関する研究を重点的に分析する。
• プライバシー攻撃を、特にGDPRの「個別特定」概念に照らして、法的枠組みと照合し、政策的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 メンバーインファレンス攻撃は、実世界のMLaaS展開においてどれほど効果的であり、その成功に影響を与える要因は何か？
• RQ2 差分プライバシーや敵対的正則化のような既存の防御策は、モデルのユーティリティを著しく低下させることなく、プライバシー漏洩をどの程度軽減できるか？
• RQ3 プライバシー防御の評価における主な制限は何であり、標準ベンチマークが実世界のパフォーマンスを正しく反映していないのはなぜか？
• RQ4 プライバシー攻撃は、GDPRにおける識別可能性およびデータ保護の定義とどのように対応するか？
• RQ5 実用的で、ターゲットを絞った、かつ評価可能なプライバシー保護型機械学習システムを設計するうえで、最も深刻な未解決問題は何か？

主な発見

• メンバーインファレンス攻撃は実現可能で効果的であり、特に過適合したモデルでは顕著だが、ケーススタディの不足や攻撃者に対する事前知識のモデル化の欠如により、実世界への影響は不明確のままである。
• モデル逆転攻撃は、特に非プライベートなモデルにおいて、訓練データの機微な情報を再構築できるが、その成功度はモデルアーキテクチャーやデータ分布に依存する。
• 差分プライバラスな機械学習では、しばしば深刻なユーティリティ-プライバシーのトレードオフが生じる。強いプライバシー（低いε）を実現するとモデルが使用不能になり、逆に高いユーティリティ（高いε）を求めるあまり、弱いプライバシー保証しか得られない。
• 万能の防御策は存在せず、プライバシーとユーティリティのトレードオフは文脈依存であり、慎重なチューニングと評価が不可欠である。
• 現在の評価手法は不十分である。多くの研究が公開データセットと標準モデルに依存しており、実世界の複雑さや導入状況を正しく反映していない。
• 技術的プライバシー研究を、特にGDPRの「個別特定」概念に即した政策枠組みと一致させる必要がある。これにより、法的および技術的プライバシーの整合性を確保できる。