[論文レビュー] Bolt-on Differential Privacy for Scalable Stochastic Gradient Descent-based Analytics

Xi Wu, Fengan Li+4 more|arXiv (Cornell University)|Jun 15, 2016

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、スケーラブルな分析システム（Bismarckなど）への簡単な統合を可能にする、最小限のオーバーヘッドで実装可能な「ボルトオン型」微分プライバシー手法を提案する。この手法は、勾配降下法（SGD）の出力段階でのみノイズを注入する。$L_2$-感度の新たな分析を導入することで、特に定数回のデータパス制約下でも、最先端のプライベートSGDアルゴリズムに比べて、最大4倍の高いモデル精度を達成する。

ABSTRACT

While significant progress has been made separately on analytics systems for scalable stochastic gradient descent (SGD) and private SGD, none of the major scalable analytics frameworks have incorporated differentially private SGD. There are two inter-related issues for this disconnect between research and practice: (1) low model accuracy due to added noise to guarantee privacy, and (2) high development and runtime overhead of the private algorithms. This paper takes a first step to remedy this disconnect and proposes a private SGD algorithm to address \emph{both} issues in an integrated manner. In contrast to the white-box approach adopted by previous work, we revisit and use the classical technique of {\em output perturbation} to devise a novel "bolt-on" approach to private SGD. While our approach trivially addresses (2), it makes (1) even more challenging. We address this challenge by providing a novel analysis of the $L_2$-sensitivity of SGD, which allows, under the same privacy guarantees, better convergence of SGD when only a constant number of passes can be made over the data. We integrate our algorithm, as well as other state-of-the-art differentially private SGD, into Bismarck, a popular scalable SGD-based analytics system on top of an RDBMS. Extensive experiments show that our algorithm can be easily integrated, incurs virtually no overhead, scales well, and most importantly, yields substantially better (up to 4X) test accuracy than the state-of-the-art algorithms on many real datasets.

研究の動機と目的

• 微分プライバシーSGDにおける理論的進展と、スケーラブルな分析システムへの実用的導入との間のギャップを是正すること。
• コアのコード変更を必要とする既存のプライベートSGDアルゴリズムに伴う高い開発および実行時オーバーヘッドを低減すること。
• 実世界の応用で一般的な、厳密なプライバシー予算とデータの制限されたパス回数下でも、モデル精度を向上させること。
• コアの勾配更新ロジックを変更せずに、既存のRDBMS内SGDシステムへの微分プライバシーの容易な統合を可能にすること。
• スケーラビリティを維持しながら強力なプライバシー保証を達成する、理論的裏付けのある実用的アプローチを提供すること。

提案手法

• 本手法は出力ノイズ化を採用し、SGD実装をブラックボックスとして扱い、最終的なモデルパラメータにのみノイズを追加する。
• 同じプライバシー予算下でノイズの大きさをより厳密に制御できるように、SGDの$L_2$-感度の新たな分析を導入する。
• 勾配演算子の拡張性を利用することで、特に定数回のデータパスが可能な場合に収束性を向上させる。
• スケーラブルなRDBMS内SGD分析システムBismarckに統合し、基盤となるSGDエンジンに変更を加えない。
• トレーニングの最終段階でのみノイズを注入することで、繰り返しのノイズサンプリングを回避し、実行時オーバーヘッドを低減する。
• ミニバッチサイズや$L_2$正則化などのハイパーパrameterはグリッドサーチで最適化され、パス回数の変化に対してほとんど感度を示さない。

実験結果

リサーチクエスチョン

• RQ1 SGDのコアトレーニングロジックを変更せずに、『ボルトオン型』微分プライバシー機構を設計できるか？
• RQ2 定数回のパス制約下でも、モデル精度を向上させるために、SGDの$L_2$-感度をより厳密に分析できるか？
• RQ3 定数回のデータパスしか許可されない状況でも、出力ノイズ化がプライベートSGDに対して有効に機能するか？
• RQ4 ブラックボックス型、トレーニング後のノイズ注入アプローチが、ホワイトボックス型の反復的ノイズ注入と比較して、モデル精度とシステムオーバーヘッドの両面で優れているか？
• RQ5 このような手法が、Bismarckのような実世界のRDBMS内分析プラットフォームに、パフォーマンス劣化を伴わずに効率的に統合可能か？

主な発見

• 提案手法は、実データセット上でのテスト精度が、SCS13 や BST14 に比べ最大4倍に向上し、定数回のデータパスでも同様の結果を示した。
• 実行時オーバーヘッドはほとんどなく、基盤となるSGDシステムのパフォーマンス特性をそのままで保持する。
• 先行研究と比較して、より安定的でチューニングが容易であり、主にミニバッチサイズと$L_2$正則化が重要なハイパーパrameterとして必要となる。
• 新たな$L_2$-感度分析により、同じプライバシー予算下でも、特に低パス制限下でより良い収束性が達成された。
• Bismarckへの統合はスムーズに完了し、コアSGDエンジンにコード変更を加える必要がなかった。実用的実装の可能性を強く示した。
• 1パスの理論的収束性は証明されたが、複数パスの状況でも強い実験的収束性を示し、実際にはBST14をも凌駆する性能を発揮した。