[論文レビュー] Differentially Private Empirical Risk Minimization

Kamalika Chaudhuri, Claire Monteleoni+1 more|arXiv (Cornell University)|Dec 1, 2009

Privacy-Preserving Technologies in Data参考文献 31被引用数 544

ひとこと要約

本稿では、機械学習における経験的リスク最小化（ERM）のための新しい微分プライバシー手法、すなわち目的関数にノイズを追加する「目的関数の摂動」を提案する。従来の出力摂動手法と比較して、特に正則化ロジスティック回帰およびSVMにおいて、より優れたプライバシーと有効性のトレードオフを達成しており、理論的保証と実データセットを用いた実証的検証によって裏付けられている。

ABSTRACT

Privacy-preserving machine learning algorithms are crucial for the increasingly common setting in which personal data, such as medical or financial records, are analyzed. We provide general techniques to produce privacy-preserving approximations of classifiers learned via (regularized) empirical risk minimization (ERM). These algorithms are private under the $ε$-differential privacy definition due to Dwork et al. (2006). First we apply the output perturbation ideas of Dwork et al. (2006), to ERM classification. Then we propose a new method, objective perturbation, for privacy-preserving machine learning algorithm design. This method entails perturbing the objective function before optimizing over classifiers. If the loss and regularizer satisfy certain convexity and differentiability criteria, we prove theoretical results showing that our algorithms preserve privacy, and provide generalization bounds for linear and nonlinear kernels. We further present a privacy-preserving technique for tuning the parameters in general machine learning algorithms, thereby providing end-to-end privacy guarantees for the training process. We apply these results to produce privacy-preserving analogues of regularized logistic regression and support vector machines. We obtain encouraging results from evaluating their performance on real demographic and benchmark data sets. Our results show that both theoretically and empirically, objective perturbation is superior to the previous state-of-the-art, output perturbation, in managing the inherent tradeoff between privacy and learning performance.

研究の動機と目的

• 機敏なデータに対して $ε$-微分プライバシーを保証するプライバシー保護型機械学習アルゴリズムの開発を目的とする。
• プライバシーとモデル有効性のバランスをとる現行の出力摂動手法の限界を解決することを目的とする。
• 最適化の前段階で損失関数および正則化項を摂動する、新しい手法「目的関数の摂動」の設計を目的とする。
• ハイパーパramータチューニングを含む機械学習パイプライン全体におけるエンドツーエンドのプライバシー保証を提供することを目的とする。
• 理論的および実践的両面で、出力摂動よりも優れた性能を示す目的関数の摂動の優位性を実証することを目的とする。

提案手法

• 最適化の前段階で正則化 ERM 目的関数にノイズを追加する「目的関数の摂動」を提案する。
• 理論的保証を得るためには、損失関数と正則化項が微分可能で、正則化項が強く凸である必要がある。
• 個々のデータポイントに対する目的関数の感度に基づいてノイズのスケーリングを適用する。
• 出力における $ε$-微分プライバシーを保証するために、ランダムレスポンス機構を用いる。
• 最適化段階でノイズを注入することで、後続の最適化段階でのノイズ注入を回避し、プライバシーと有効性のトレードオフを軽減する。
• 非線形カーネルへの応用を可能とするために、カーネル近似技術（例：RahimiとRecht, 2008b）を用いる。

実験結果

リサーチクエスチョン

• RQ1 プライバシーの観点から、既存の出力摂動手法を上回る有効性を示す微分プライバシー ERM アルゴリズムを設計できるか？
• RQ2 損失関数および正則化項にどのような条件下で、目的関数の摂動がプライバシーを保ちつつ良好な一般化性能を維持できるか？
• RQ3 分類精度およびプライバシー予算の観点から、実証的に目的関数の摂動は出力摂動と比較してどのように異なるか？
• RQ4 目的関数の摂動は、統計的効率性を保ちつつ、非線形カーネル手法へと拡張可能か？
• RQ5 目的関数の摂動を用いた微分プライバシー ERM における一般化誤差の理論的上限は何か？

主な発見

• 正則化項が強く凸である場合、同じプライバシー予算のもとで、目的関数の摂動は出力摂動よりも優れた一般化境界を達成する。
• 理論的分析により、損失関数および正則化項が微分可能かつ凸である条件を満たす場合、目的関数の摂動が $ε$-微分プライバシーを満たすことが示された。
• 人種的・人口統計的およびベンチマークデータセットを用いた実証的結果から、目的関数の摂動は出力摂動を上回る分類精度を示した。
• 非線形カーネルでは、ランダム特徴量による線形化に依存するが、これは統計的に非効率である可能性があるものの、十分なデータ量があれば依然として有効である。
• 訓練パイプライン全体に同一のプライバシー機構を適用することで、ハイパーパramータチューニングを含むエンドツーエンドのプライバシー保証を提供する。
• 本稿では、$L_1$-正則化 ERM が限界として特定され、強い凸性の欠如により目的関数の摂動が適用できないため、未解決問題として残っている。