[論文レビュー] Three Tools for Practical Differential Privacy

Koen Lennart van der Veen, Ruben Seggers+2 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 6被引用数 22

ひとこと要約

本論文は、プライバシー保護付き機械学習を簡素化するための3つの実用的ツールを紹介する：(1) 秘密保持パラメータを検証するためのランダムノイズを用いた集中型健全性チェック、(2) ハイパーパramータチューニングの負担を軽減するための適応的クリッピングバインド、(3) ノイズを低減し性能を向上させるためにスケーリングされた学習率を用いた大規模バッチ学習。主な貢献は、強力なプライバシー保証を維持しながらも、競争力のあるモデル精度を達成する、きめ細やかで手間のかからないワークフローの確立である。CIFAR-10でε=20の条件下で、適応的クリッピングを用いることでテスト精度が61.6%から63.5%に向上し、大規模バッチ学習を用いることで66.9%にまで向上した。

ABSTRACT

Differentially private learning on real-world data poses challenges for standard machine learning practice: privacy guarantees are difficult to interpret, hyperparameter tuning on private data reduces the privacy budget, and ad-hoc privacy attacks are often required to test model privacy. We introduce three tools to make differentially private machine learning more practical: (1) simple sanity checks which can be carried out in a centralized manner before training, (2) an adaptive clipping bound to reduce the effective number of tuneable privacy parameters, and (3) we show that large-batch training improves model performance.

研究の動機と目的

• 実世界の機械学習応用における微分プライバシー（DP）パラメータεとδの解釈とキャリブレーションの課題に対処すること。
• プライベートデータ上で複数回のモデル学習を必要としないように、ハイパーパramータチューニング中のプライバシー予算の消費を低減すること。
• 手動チューニングの必要を最小限に抑え、モデル性能を向上させる、実用的で自動化されたプライバシー保護付きディープラーニングのワークフローを開発すること。
• 固定されたプライバシー予算下で、スケーリングされた学習率を用いた大規模バッチ学習が、ノイズを低減しながらもモデル精度を維持できるかを示すこと。
• 動的勾配ノルム調整により、クリッピングバインドの手動グリッドサーチに依存しなくなる適応的クリッピングを導入すること。

提案手法

• ランダムノイズデータ上でモデルを学習することで、集中型健全性チェックを実施。記憶が生じる（つまり、高水準の訓練精度を示す）場合、プライバシーパラメータはあまり厳密でない。
• 適応的クリッピングを実装：各レイヤーについて、$ C^{l}_{l^{2}t} = \beta C^{l}_{t-1} $ と更新し、ここで $ \beta = 2 $ であり、最初はランダムノイズ上で1イテレーション分の平均ℓ₂ノルムで初期化する。
• モーメント会計師を用いてプライバシー消費を追跡し、訓練中に合計εとδが予算内に収まるように保証する。
• バッチサイズに比例して学習率をスケーリング（例：バッチサイズが$ k $倍になると$ \text{lr} \times k $）することで、大規模バッチ設定での訓練安定性を維持する。
• 中央集権的ランダムノイズデータセットを用いて、健全性チェックに合格するまでノイズスケール$ \rho $をキャリブレートし、その後同じパラメータをプライベートデータの学習に適用する。
• デフォルト値$ \beta = 2.0 $、$ \beta = 2.0 $、および$ \rho = 0.725 $を用いて適応的クリッピング手法を適用し、データ固有のチューニングに依存する必要を軽減する。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズデータを用いた集中型健全性チェックは、記憶を防ぐためにDPパラメータが十分に厳密であるかどうかを効果的に検証できるか？
• RQ2 適応的クリッピングは、異なるモデルやデータセットにおいて、クリッピングバインドの手動ハイパーパramータチューニングの必要性をどの程度低減できるか？
• RQ3 固定されたプライバシー予算下で、スケーリングされた学習率を用いた大規模バッチ学習は、プライバシー保護付き学習におけるモデル性能にどのような影響を与えるか？
• RQ4 適応的クリッピングに用いる一貫したデフォルトパラメータ（例：$ \beta = 2.0 $、$ \rho = 0.725 $）は、再チューニングなしで多様なデータセットで良好な性能を達成できるか？
• RQ5 適応的クリッピング、大規模バッチ学習、健全性チェックを組み合わせることで、プライバシー予算の消費を最小限に抑え、最小限の手動介入で実用的でエンドツーエンドのワークフローを構築できるか？

主な発見

• ランダムノイズデータ上で学習された微分プライバシー保護モデルは、ほぼゼロの訓練精度（≤1.5%）を示し、高水準のプライバシー消費（ε=20）下でも記憶が防がれていることを確認した。
• CIFAR-10では、テスト精度が定常クリッピングの61.6%から適応的クリッピングの63.5%に向上し、ノイズの影響を低減する動的勾配クリッピングの有効性が示された。
• スケーリングされた学習率を用いた大規模バッチ学習は、CIFAR-10でε=20の条件下で66.9%のテスト精度を達成し、同じバッチサイズで学習率を変更しないベースライン（47.2%）を著しく上回った。
• 適応的クリッピング手法は$ \beta $と$ \rho_{l^2} $の変更に対して頑健であり、いずれのパラメータを2倍にした場合でも類似した性能を示し、安定性と一般化性を示した。
• $ \beta = 2.0 $および$ \rho_{l^2} = 2.5 $の設定は、MNIST、CIFAR-10、CIFAR-100の全データセットで一貫した性能を維持した。これは、デフォルト値をタスク間で共通して使用可能であることを示唆した。
• 提案されたワークフローは、ハイパーパラメータチューニング中のプライバシー予算の消費を削減した。具体的には、プライベートでない中央集権的ランダムデータ上の健全性チェックにチューニングを移行することで、機微なデータの露出を最小限に抑えた。