[論文レビュー] Deep Learning with Gaussian Differential Privacy

Zhiqi Bu, Jinshuo Dong+2 more|arXiv (Cornell University)|Nov 26, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用数 22

ひとこと要約

本稿では、確率的勾配降下法（SGD）およびAdamを用いた深層ニューラルネットワークの学習において、f-微分プライバシー、特にガウス微分プライバシー（GDP）を用いて、解析的に取り扱いやすく、かつきめ細やかなプライバシー境界を導出することを提案する。f-DPフレームワークにより、数値計算を要するモーメント会計師法とは対照的に、閉形式でのプライバシー会計が可能となり、同等のプライバシー保証を維持しながらも、ノイズを少なくすることでモデルの有効性を向上させることを示している。

ABSTRACT

Deep learning models are often trained on datasets that contain sensitive information such as individuals' shopping transactions, personal contacts, and medical records. An increasingly important line of work therefore has sought to train neural networks subject to privacy constraints that are specified by differential privacy or its divergence-based relaxations. These privacy definitions, however, have weaknesses in handling certain important primitives (composition and subsampling), thereby giving loose or complicated privacy analyses of training neural networks. In this paper, we consider a recently proposed privacy definition termed extit{$f$-differential privacy} [18] for a refined privacy analysis of training neural networks. Leveraging the appealing properties of $f$-differential privacy in handling composition and subsampling, this paper derives analytically tractable expressions for the privacy guarantees of both stochastic gradient descent and Adam used in training deep neural networks, without the need of developing sophisticated techniques as [3] did. Our results demonstrate that the $f$-differential privacy framework allows for a new privacy analysis that improves on the prior analysis~[3], which in turn suggests tuning certain parameters of neural networks for a better prediction accuracy without violating the privacy budget. These theoretically derived improvements are confirmed by our experiments in a range of tasks in image classification, text classification, and recommender systems. Python code to calculate the privacy cost for these experiments is publicly available in the exttt{TensorFlow Privacy} library.

研究の動機と目的

• 深層学習の学習における組み合わせとサブサンプリングの取り扱いに課題を抱える(ε,δ)-微分プライバシーの限界を解消すること。
• モーメント会計師技術を改善する、より解釈可能で解析的に取り扱いやすいプライバシー枠組みを構築すること。
• ノイズを含む最適化アルゴリズムのための鋭いプライバシー境界を導出することで、プライバシーとモデル有効性のトレードオフを改善すること。
• 画像分類、テキスト分類、レコメンデーションシステムの分野における実験を通じて、理論的改善を検証すること。
• f-DPフレームワーク下でのプライバシーコストを計算するための実用的実装をTensorFlow Privacyライブラリを通じて提供すること。

提案手法

• f-微分プライバシー（f-DP）を活用する。これは(ε,δ)-DPの緩和版であり、仮説検定の解釈を保ちつつ、組み合わせとサブサンプリングを正確に取り扱える。
• プライバシーの組み合わせによるノイズ付き勾配更新のプライバシー損失を、シフトされた正規分布として近似するための中心極限定理（CLT）を適用する。
• f-DPフレームワーク下で、NoisySGDおよびNoisyAdamのプライバシー損失に対して閉形式の式を導出する。これにより、モーメント会計師法が要する数値計算を回避できる。
• f-DPの標準的な単一パラメータ族、すなわちガウス微分プライバシー（GDP）を用いて、プライバシー保証を1つのパラメータμで表現する。
• プライバシー損失確率変数（PLRV）とそのモーメント母関数を用いて、プライバシー境界を解析的に計算する。
• MNIST、テキスト分類、レコメンデーションシステムの実験を通じて、同等の(ε,δ)-DP保証下でのテスト精度とプライバシー消費を比較することで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 f-微分プライバシーは、(ε,δ)-DPにおけるモーメント会計師法と比較して、深層学習におけるよりきめ細やかで解析的に取り扱いやすいプライバシー境界を提供できるか？
• RQ2 f-DPフレームワークは、同等のプライバシー保証を維持しながら、ノイズを減らすことでモデルの有効性を向上させることができるか？
• RQ3 f-DPにおけるCLTベースの近似は、モーメント会計師法と比較して、プライバシー会計の正確性と収束速度の点で優れているか？
• RQ4 SGDおよびAdam最適化におけるf-DPフレームワークは、プライバシーと有効性のトレードオフをどの程度改善できるか？
• RQ5 f-DPにおける閉形式のプライバシー境界は、多様な機械学習タスクに実用的かつ検証可能に応用可能か？

主な発見

• f-微分プライバシーフレームワークにより、NoisySGDおよびNoisyAdamの閉形式プライバシー境界が得られ、モーメント会計師法が要する数値計算の必要がなくなる。
• CLTベースのアプローチは、同じ(ε,δ)-DP予算下で、モーメント会計師法よりも高いテスト精度を達成する。具体的には、ε=4のとき96%の精度を達成するが、モーメント会計師法では92%にとどまる。
• 同じ(ε,δ)-DP保証下で、CLTアプローチは18, 26, 45エポック目にそれぞれ95%, 96%, 97%のテスト精度に到達するが、モーメント会計師法では23, 33, 64エポック目となる。これは収束が速いことを示している。
• 同じ(ε,δ)-DP保証下で、f-DPフレームワークはより強いプライバシー保護を提供する。例えば、1.13-GDPは(7.10,10−5)-DPに相当する。これは、より有利なプライバシーと有効性のトレードオフを示している。
• f-DPによるプライバシーコストは、(ε,δ)-DPよりも解釈がやすく、過剰に慎重ではない。その結果、プライバシー予算を超過せずに、より高いモデル有効性を実現できる。
• 提案手法はTensorFlow Privacyライブラリに実装されており、f-DPに基づくプライベートな深層学習の公開再現性と実用的導入を可能としている。