[論文レビュー] Bayesian Differential Privacy for Machine Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|Jan 28, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用数 9

ひとこと要約

本稿では、データ分布に配慮したベイジアン微分プライバシー（BDP）を導入し、データ尤度をモデル化することでノイズを低減し、よりきめ細やかなプライバシー保証と高いモデル精度を実現する。実験の結果、MNISTではεを2.2から0.95に、CIFAR-10では8.0から0.76にまで低減し、高い分類精度と高速な収束性を維持した。

ABSTRACT

Traditional differential privacy is independent of the data distribution. However, this is not well-matched with the modern machine learning context, where models are trained on specific data. As a result, achieving meaningful privacy guarantees in ML often excessively reduces accuracy. We propose Bayesian differential privacy (BDP), which takes into account the data distribution to provide more practical privacy guarantees. We also derive a general privacy accounting method under BDP, building upon the well-known moments accountant. Our experiments demonstrate that in-distribution samples in classic machine learning datasets, such as MNIST and CIFAR-10, enjoy significantly stronger privacy guarantees than postulated by DP, while models maintain high classification accuracy.

研究の動機と目的

• 従来の微分プライバシー（DP）が最悪ケースの仮定に基づき過剰なノイズを課すという実用的制限を是正すること。特に、実世界の機械学習シナリオにおいて顕著である。
• 一般的なデータ分布を反映するプライバシー枠組みを構築し、一般的なデータポイントに対してより意味的かつ解釈可能なプライバシー保証を提供すること。
• モーメント会計師（MA）を一般化し、よりきめ細やかで分布に依存するプライバシー保証を提供するプライバシー会計手法を開発すること。
• 分布外のサンプルに対しては頑健性を確保しつつ、分布内データに対しては強力なプライバシー保証を維持すること。
• BDPが、標準的なDPと比較して、顕著に低いプライバシー損失パラメータ（ε）で、高いモデル精度と高速な学習を実現することを実証的に検証すること。

提案手法

• データ生成分布μ(x)に条件づけられた(ε,δ)-DPの改良版として、ベイジアン微分プライバシー（BDP）を提案。すべての入力を等しく扱うのではなく、分布に応じたプライバシー保証を提供する。
• プライバシー損失確率変数（PLRV）に基づくプライバシー会計フレームワークを導入。確率論から導かれる集中不等式を用いて、典型的なデータポイントの(εμ, δμ)を推定する。
• 平坦な事前分布とエントロピー最大化原理を用いたベイジアンパラメータ推定により、有限のデータサンプルからプライバシー損失統計を推定。未観測例のリスクを過小評価しないように最適化。
• 勾配降下法（SGD）におけるクリッピングとガウスノイズを伴う場合に、効率的かつきめ細やかなプライバシー会計が可能な、BDPのための高度な合成定理を導出。これはモーメント会計師（MA）を一般化する。
• 勾配のノルムをCにクリッピングし、分散C²σ²のノイズを追加するDP-SGDにBDPを適用。ただし、ノイズのキャリブレーションをデータ分布に基づいて行い、全体のノイズを低減。
• プライバシーコスト推定器からの漏洩を検出するため、訓練集合とテスト集合間の勾配ペアワイズ距離分析を実施。統計的差異は顕著でないことが判明（p > 0.05）。

実験結果

リサーチクエスチョン

• RQ1 データ分布の情報を組み込むことで、機械学習における微分プライバシーの実用性を高められるか？
• RQ2 データ尤度をモデル化することで、モデルの有用性を損なわず、よりきめ細やかで解釈可能なプライバシー保証が得られるか？
• RQ3 モーメント会計師を一般化し、分布に依存するプライバシー会計手法を開発できるか？
• RQ4 標準的なDPと比較して、BDPはどれほどノイズを低減できるか？その影響は、モデル精度と収束速度にどう現れるか？
• RQ5 BDPのプライバシーコスト推定器は、漏洩を引き起こす可能性があるか？すなわち、訓練データに関する情報を露呈するか？

主な発見

• MNISTでは、BDPによりプライバシー損失パラメータεが標準DPの2.2から0.95にまで低減され、プライバシーと性能のトレードオフが顕著に改善された。
• CIFAR-10では、εが8.0から0.76にまで低減され、複雑なデータセットにおいてもプライバシー保証の大幅な向上が確認された。
• BDPモデルはMNISTで50エポックで96％のテスト精度を達成したが、標準DP-SGDは高いノイズレベルのため、数百エポックを要した。
• プライバシーコスト推定器は、勾配ペアワイズ距離のt検定とレヴィーン検定の結果、訓練データに関する有意な情報を漏洩していない（p > 0.05）。
• 分布内データポイントの99.999％において、BDPは標準DPよりも強いプライバシー保証を提供し、εが常に1未満に保たれた。
• BDPは深層学習における最新のプライバシー境界を達成し、よりきめ細やかなプライバシーと高いモデル精度、高速な収束性を両立した。