[論文レビュー] Protection Against Reconstruction and Its Applications in Private Federated Learning

Abhishek Bhowmick, John C. Duchi+3 more|arXiv (Cornell University)|Dec 3, 2018

Privacy-Preserving Technologies in Data参考文献 60被引用数 261

ひとこと要約

本論文は、局所的にプライベートなフェデレーテッドラーニングに対する再構成保護に焦点を当てたプライバシーフレームワークを提案し、高次元データ向けのミニマックス最適な局所プライバシー機構を開発し、限られたユーティリティ喪失で大規模なプライベートモデル訓練を実証します。

ABSTRACT

In large-scale statistical learning, data collection and model fitting are moving increasingly toward peripheral devices---phones, watches, fitness trackers---away from centralized data collection. Concomitant with this rise in decentralized data are increasing challenges of maintaining privacy while allowing enough information to fit accurate, useful statistical models. This motivates local notions of privacy---most significantly, local differential privacy, which provides strong protections against sensitive data disclosures---where data is obfuscated before a statistician or learner can even observe it, providing strong protections to individuals' data. Yet local privacy as traditionally employed may prove too stringent for practical use, especially in modern high-dimensional statistical and machine learning problems. Consequently, we revisit the types of disclosures and adversaries against which we provide protections, considering adversaries with limited prior information and ensuring that with high probability, ensuring they cannot reconstruct an individual's data within useful tolerances. By reconceptualizing these protections, we allow more useful data release---large privacy parameters in local differential privacy---and we design new (minimax) optimal locally differentially private mechanisms for statistical learning problems for \emph{all} privacy levels. We thus present practicable approaches to large-scale locally private model training that were previously impossible, showing theoretically and empirically that we can fit large-scale image classification and language models with little degradation in utility.

研究の動機と目的

• 分散データ設定における局所プライバシーを動機づけ、フェデレーテッドラーニングにおける再構成リスクに対処する。
• 限られた事前情報を持つ好奇的な観察者による再構成に焦点を当てた洗練された脅威モデルを提示する。
• すべてのプライバシーレベル（ε ≤ d）に対して高次元ベクトル向けのミニマックス最適な局所プライバシー機構を開発する。
• 許容されるユーティリティ低下で実用的な大規模プライベートモデル訓練を実証する。
• 局所プライバシー保護下での画像分類と言語モデリングにおける実証結果を提供する。）
• method([

提案手法

• 限られた事前情報を持つ敵対者が privatized outputs からデータを再構成しようとする、再構成保護プライバシーモデルを定義する。
• ε-局所差分プライバシーと Reconstruction Breach の概念を導入して、データ再構成の保護を定量化する。
• 単位球内の高次元ベクトルに対する新しいミニマックス最適な privatization 機構を開発する。
• これらの機構の下で、確率的勾配法ベースのプライベート学習スキームの漸近的挙動を分析する。
• ローカルプライバシーレイヤを、エンドツーエンド保護のためにより広い中央差分プライバシー枠組みに組み込む。
• プライベートなアップデートと集中型プライバシーアカウンティングを備えた、典型的なプライベートフェデレーテッドラーニングシステムを実証する。

実験結果

リサーチクエスチョン

• RQ1 局所プライベートなフェデレーテッドラーニング環境における private data の正確な再構成をいかに防ぐことができるか？
• RQ2 ε in [0, d] に渡る高次元データに対して、ミニマックス最適な局所プライベート機構とは何か？
• RQ3 大規模な画像と言語モデルを、限られたユーティリティの劣化でプライベートに訓練できるか？
• RQ4 再構成保護は、フェデレーテッド設定における中央差分プライバシーとどのように相互作用するか？

主な発見

• εを最大でdまでとする局所プライベート機構は、各プライバシーレベルでミニマックス最適な性能を達成する。
• 再構成漏洩は拡散事前分布の下で厳密に界を設けられ、εが大きくなり事前分布がより情報を持つにつれて保護が強化される。
• 提案されたフレームワークは、非プライベートベースラインと比較してほとんどユーティリティの損失がないまま、大規模な局所プライベートモデル訓練を可能にする実用的な手順を提供する。
• 提案された保護の下で、画像分類と言語モデルのプライベートフェデレーテッドラーニングの実現可能性を示す実験。
• ローカル再構成保護と中央DPの組み合わせは、強いプライバシーを維持しつつ、スケーラブルな分散学習を支える。