[論文レビュー] Differentially Private Variational Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|Nov 30, 2017

Privacy-Preserving Technologies in Data参考文献 17被引用数 3

ひとこと要約

本稿では、深層ニューラルネットワークにおける形式的プライバシー保証を実現するため、変分ドロップアウトに内在するノイズを活用した、プライバシー保護付き変分ドロップアウト（DPVD）を提案する。集中型微分プライバシー（zCDP）とサブサンプリングによるプライバシーの強化を用いることで、MNISTおよびDIGITSデータセットにおいて、標準的なDPおよび最先端の手法と比較して、特に低プライバシー予算下で顕著に高い精度を達成する。

ABSTRACT

Deep neural networks with their large number of parameters are highly flexible learning systems. The high flexibility in such networks brings with some serious problems such as overfitting, and regularization is used to address this problem. A currently popular and effective regularization technique for controlling the overfitting is dropout. Often, large data collections required for neural networks contain sensitive information such as the medical histories of patients, and the privacy of the training data should be protected. In this paper, we modify the recently proposed variational dropout technique which provided an elegant Bayesian interpretation to dropout, and show that the intrinsic noise in the variational dropout can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving variational dropout algorithm on benchmark datasets.

研究の動機と目的

• 機械学習の訓練データに機密性がある場合でも、モデルの精度を維持しつつ、そのデータを保護する課題に対処すること。
• 変分ドロップアウトに内在するランダム化をプライバシー機構として活用することで、そのプライバシー保証を形式的に定式化すること。
• 繰り返し訓練における累積的プライバシー損失を、標準的な微分プライバシーの代わりに集中型微分プライバシー（zCDP）を用いることでより厳密に制限すること。
• zCDPとサブサンプリング、および適応的ドロップアウト率を組み合わせることで、厳しいプライバシー予算下での性能を向上させること。
• ベンチマークデータセット上で本手法を実証的に検証し、既存のDP手法と比較して優れた性能を示すこと。

提案手法

• 重みごとに個別化されたドロップアウト率を許容するように、変分ドロップアウトを拡張することで、細粒度の正則化とプライバシー制御を可能にする。
• 変分ドロップアウトにおける確率的順方向および逆方向伝搬に起因する内在的ノイズを、微分プライバシーのソースとして利用する。
• 繰り返し訓練における累積的プライバシー損失を、標準的なDPよりもきめ細かく制限できる集中型微分プライバシー（zCDP）を適用する。
• サブサンプリングによるプライバシーの強化を用いて、与えられたプライバシー予算に対して必要なノイズを低減する。
• zCDP制約を満たすために、勾配クリッピングとノイズ注入を確率的最適化に統合する。
• プライバシー制約下でのネットワーク重みの事後分布を近似するために変分推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 変分ドロップアウトに内在するノイズを、深層ニューラルネットワークにおける微分プライバシーを達成するために形式的に活用できるか？
• RQ2 繰り返し訓練において、集中型微分プライバシー（zCDP）を用いることで、標準的な微分プライバシーと比較して、プライバシーと精度のトレードオフがどのように改善されるか？
• RQ3 低プライバシー予算下において、zCDPを用いた変分ドロップアウトは、標準的なプライバシー保護付き訓練および最先端の手法をどの程度上回るか？
• RQ4 隠れユニット数、学習率、ミニバッチサイズといったモデルハイパーパrameterが、提案フレームワークにおけるプライバシーと精度のトレードオフにどのように影響を与えるか？
• RQ5 本手法は、実世界のベンチマークデータセットにおいて、測定可能なプライバシー保証を維持しながら高い精度を達成できるか？

主な発見

• DPVD-zCDPは、MNISTでε=10の条件下でテスト精度0.9687を達成し、最先端手法（0.9701）および他のベースラインを上回った。
• ε=0.1の条件下では、DPVD-zCDPはMNISTで0.9026、DIGITSで0.9038の精度を達成し、ドロップアウトなしのSVI-zCDPおよびAbadiらの手法と比較して、低プライバシー予算下で顕著に優れた性能を示した。
• ハイパーパrameterの選択に対して頑健であることが実証され、MNISTでは1000個の隠れユニットと600のミニバッチサイズで最適な性能が得られた。
• エポック数が増えるほどプライバシーコストが上昇したが、zCDPにより標準DPよりも高い耐性を示し、100〜200エポックの範囲で最適な性能が得られた。
• 勾配クリッピングのしきい値が4のときが最も高い精度を示し、この値を超えるとノイズが過剰に加わるために性能が低下した。
• 大きなミニバッチサイズ（例：600）は、ノイズの相対的影響を低減することで性能を向上させ、最適なサンプリング周波数ν ≈ 0.01が得られた。