[論文レビュー] Differentially Private Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|Nov 30, 2017

Privacy-Preserving Technologies in Data参考文献 16被引用数 3

ひとこと要約

本稿では、集中型微分プライバシー（zCDP）を用いて形式的なプライバシー保証を提供する、新たな技法である微分プライベートドロップアウト（DPD）を提案する。ガウスドロップアウトに内在するノイズを活用することで、サブサンプリングによるプライバシーの強化とzCDPの合成を組み合わせることで、MNISTおよびDIGITSベンチマークにおいて、標準的なDPおよび最先端の手法と比較して、特に低プライバシー予算下で顕著に高い精度を達成する。

ABSTRACT

Large data collections required for the training of neural networks often contain sensitive information such as the medical histories of patients, and the privacy of the training data must be preserved. In this paper, we introduce a dropout technique that provides an elegant Bayesian interpretation to dropout, and show that the intrinsic noise added, with the primary goal of regularization, can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving dropout algorithm on benchmark datasets.

研究の動機と目的

• ドロップアウトに内在するランダム化を活用して、ドロップアウトを用いて訓練された深層ニューラルネットワークに対して形式的なプライバシー保証を提供すること。
• 反復的トレーニングにおける累積的プライバシー損失の課題に、標準的な微分プライバシーの代わりに集中型微分プライバシー（zCDP）を用いることで対処すること。
• トレーニング反復回数にわたるプライバシー予算の効率的配分により、微分プライベートディープラーニングにおけるユーティリティとプライバシーのトレードオフを改善すること。
• ドロップアウトは従来、正則化に用いられるが、同時にモデルの精度を向上させるとともに、測定可能な微分プライバシーを提供できることを示すこと。

提案手法

• 重みごとに個別化されたドロップアウト率を用いたガウスドロップアウトを採用し、ベイジアン解釈と内在的ノイズの注入を可能にする。
• 複数のトレーニング反復にわたる累積的プライバシー損失を厳密に束縛するために、zCDPの合成解析を適用する。
• サブサンプリングによるプライバシーの強化を活用し、同じプライバシー保証を達成するために必要な追加ノイズ量を低減する。
• 確率的勾配降下法（SGD）と統合し、感度を制御するために勾配クリッピングを用いる。
• 標準的なニューラルネットワークアーキテクチャと互換性があり、アーキテクチャの変更を必要としない。
• プライバシー会計には、zCDPに密接に関連するモーメント会計法を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトに内在するノイズを、深層ニューラルネットワークにおける微分プライバシー保証に正式に活用できるか？
• RQ2 標準的なDPと比較して、zCDPを用いることで反復的トレーニングにおけるプライバシー予算の蓄積をどのようにより効率的に管理できるか？
• RQ3 低予算設定下で、ドロップアウトはプライバシーを保ちながら、どの程度モデルの精度を向上させるか？
• RQ4 サブサンプリングとzCDPの組み合わせは、プライバシーを損なわずに、ノイズ要件をどのように低減できるか？

主な発見

• DPD-zCDPは、MNISTでε=10の条件下で97.18%、DIGITSで95.18%のテスト精度を達成し、標準的なDPおよび最先端の手法を上回った。
• ε=0.5の条件下では、MNISTで92.05%、DIGITSで91.25%の精度を達成し、Abadiら（2016）およびSGLD-zCDPを顕著に上回った。
• ハイパーパramータの変動に対しても頑健であり、1000個の隠れユニット、200エポック、ミニバッチサイズ600で最適な性能を示した。
• zCDPのおかげでプライバシー予算の効率が向上し、標準的なDPと同等のプライバシー保証を維持しながら、より低いノイズレベルを実現できた。
• 低プライバシー予算下でもモデルの精度が維持され、ε=0.5の条件下で、ベースラインDP手法と比較してDPD-zCDPは2.5–3%の精度優位性を示した。