[論文レビュー] Distributed Differentially Private Computation of Functions with Correlated Noise

Hafiz Imtiaz, Jafar Mohammadi+1 more|arXiv (Cornell University)|Apr 22, 2019

Privacy-Preserving Technologies in Data参考文献 58被引用数 7

ひとこと要約

本稿では、分散学習におけるプライバシーと性能のトレードオフを改善するために、複数のサイトにわたる相関ノイズを導入することで、プライバシーに配慮した分散学習の性能を向上させる、新規の分散型微分プライバシー枠組み「CAPE（Correlation Assisted Private Estimation）」を提案する。推定理論的ノイズ相関を活用することで、非集中型の非プライベート学習に近い性能を達成し、合成および実世界の回帰およびニューラルネットワークタスクにおいて、厳密なプライバシー保証のもとで既存手法を上回る性能を発揮する。

ABSTRACT

Many applications of machine learning, such as human health research, involve processing private or sensitive information. Privacy concerns may impose significant hurdles to collaboration in scenarios where there are multiple sites holding data and the goal is to estimate properties jointly across all datasets. Differentially private decentralized algorithms can provide strong privacy guarantees. However, the accuracy of the joint estimates may be poor when the datasets at each site are small. This paper proposes a new framework, Correlation Assisted Private Estimation (CAPE), for designing privacy-preserving decentralized algorithms with better accuracy guarantees in an honest-but-curious model. CAPE can be used in conjunction with the functional mechanism for statistical and machine learning optimization problems. A tighter characterization of the functional mechanism is provided that allows CAPE to achieve the same performance as a centralized algorithm in the decentralized setting using all datasets. Empirical results on regression and neural network problems for both synthetic and real datasets show that differentially private methods can be competitive with non-private algorithms in many scenarios of interest.

研究の動機と目的

• 局所データセットが小さい場合に、既存の分散型微分プライバシーアルゴリズムの性能が著しく低いという問題に対処すること。
• 誠実だが好奇心の強い攻撃者モデル下での分散機械学習におけるプライバシーと性能のトレードオフを改善すること。
• 特に医療などのプライバシーが重要な分野において、生データを共有せずに複数のデータサイト間で正確な共同推定を可能にすること。
• 微分プライバシーを適用した分散環境下で、非プライベートの集中学習の性能に近づく手法を開発すること。
• 分散システムにおける分離可能な関数の微分プライバシー計算のための実用的で、理論的根拠を持つ枠組みを提供すること。

提案手法

• 異なる分散サイト間で（反）相関のあるノイズを導入することで、全体のノイズ分散を低減するCAPEフレームワークを提案する。
• 連続的かつ微分可能関数に対して感度をより効率的に計算できる、拡張された機能的メカニズムであるCAPEFMアルゴリズムを導入する。
• 推定理論的分析を用いてノイズ追加プロセスを最適化し、微分プライバシーを保持したまま、摂動出力の分散を最小化する。
• 機能的メカニズムのより厳密な特徴付けを用いることで、特に線形回帰およびロジスティック回帰問題において追加ノイズを低減する。
• 分散最適化における分離可能な損失関数（例：経験的リスク最小化）にプロトコルを適用する。
• 攻撃者が協調するサイト数が ⌈S/3⌉−1 を超えない条件の下で、(ε,δ)-微分プライバシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散サイト間でノイズの相関を導入することで、プライバシーを損なわずに微分プライバシー計算の性能を向上させることができるか？
• RQ2 局所データセットが小さい分散機械学習において、プライバシーと性能のトレードオフを著しく改善する方法は何か？
• RQ3 分散型微分プライバシーアルゴリズムが、非集中型の非プライベート学習と同等の性能をどの程度達成できるか？
• RQ4 ノイズ相関が、微分プライバシー関数推定における感度計算と分散に与える影響は何か？
• RQ5 提案された枠組みは、ERM やニューラルネットワーク学習のような一般的な機械学習最適化問題へ一般化可能か？

主な発見

• CAPEFMアルゴリズムは、ε, δ, データセットサイズ N が適切な条件下では、非プライベートな統合データのシナリオと同等の性能を達成する。
• 合成データおよび実データ（Crime, Twitter）において、dp-fm や objPert といった従来のDPアルゴリズムに比べ、特に中程度の N および δ の条件下で優れた性能を発揮する。
• サイト数 N が増加するにつれて性能が向上し、十分に大きな N および ε の条件下では、CAPEFMの性能は非プライベートベースラインに収束する。
• 特に δ が中程度に小さく、N が小さすぎない場合、局所的および凸結合手法よりも優れた性能を達成する。
• 線形回帰および深層ニューラルネットワーク分類タスクの両方において、強い実験的性能を示し、非プライベートベースラインと競合可能な性能を発揮する。
• CAPEFMにおける分析的感度計算により、特に低次元設定において、従来手法に比べて追加ノイズを顕著に低減する。