[論文レビュー] A General Approach to Adding Differential Privacy to Iterative Training Procedures

H. Brendan McMahan, Galen Andrew+5 more|arXiv (Cornell University)|Dec 15, 2018

Privacy-Preserving Technologies in Data被引用数 56

ひとこと要約

本論文は、訓練手順の分離、プライバシー機構の設定、及びプライバシー会計を分離することで、差分プライバシーを組み込むモジュラーな枠組みを提案し、Moments Accountantを異種ベクトルクエリへ一般化します。

ABSTRACT

In this work we address the practical challenges of training machine learning models on privacy-sensitive datasets by introducing a modular approach that minimizes changes to training algorithms, provides a variety of configuration strategies for the privacy mechanism, and then isolates and simplifies the critical logic that computes the final privacy guarantees. A key challenge is that training algorithms often require estimating many different quantities (vectors) from the same set of examples --- for example, gradients of different layers in a deep learning architecture, as well as metrics and batch normalization parameters. Each of these may have different properties like dimensionality, magnitude, and tolerance to noise. By extending previous work on the Moments Accountant for the subsampled Gaussian mechanism, we can provide privacy for such heterogeneous sets of vectors, while also structuring the approach to minimize software engineering challenges.

研究の動機と目的

• プライバシーに敏感なデータに対する反復的訓練への実用的な差分プライバシーの統合を動機づける。
• 訓練手順、プライバシー機構の設定、プライバシー会計を分離して、エラーとエンジニアリング負荷を削減する。
• 訓練中に収集される異種ベクトルグループへ差分プライバシー会計を一般化する。
• ベクトルのグループ化とグループ間でのプライバシー保証を組み合わせるためのモジュラーな機構を提供する。
• 実世界での使用に向けた実装ガイダンスと TensorFlow Privacy への参照を提供する。

提案手法

• 訓練更新を、グループごとのクリッピングとノイズパラメータを用いたガウス和クエリとして表現する。
• スケールと次元の異質性を管理するために、ベクトル群に対する結合クリッピング戦略と個別クリッピング戦略を導入する。
• 複数のベクトルグループからのプライバシー保証を、会計のための単一の等価なガウス和クエリへ組み合わせる方法を示す。
• サンプリング確率 q、クリッピング S_g、ノイズ sigma_g を介してプライバシーと有用性のトレードオフをバランスするハイパーパラメータ戦略を説明する。
• プライバシー台帳と事後のプライバシー会計（RDP）を提案し、プライバシーコストの計算を訓練実装から切り離す。

実験結果

リサーチクエスチョン

• RQ1 各ラウンドで複数の異種ベクトル（例：層の勾配、バッチ正規化統計量、指標）をクエリする場合、反復的訓練へ差分プライバシーを適用するにはどうすればよいか。
• RQ2 異なるノルムやノイズレベルを持つ複数のベクトルグループ間で、プライバシー保証をどのように組み合わせるか。
• RQ3 実践的な戦略とツール（例：TensorFlow Privacy）を用いて、訓練コードの整合性を損なうことなく堅牢で設定可能なDP訓練をどのように支援するか。
• RQ4 大規模な反復訓練において、望ましいプライバシーと有用性のトレードオフをもたらすハイパーパラメータ戦略（サンプリング、クリッピング、ノイズ）は何か。

主な発見

• モジュラーなアプローチにより、Moments Accountantを複数ベクトルクエリへ拡張することで、異種ベクトル集合に対するプライバシーを実現できる。
• グループごとのスケールを用いた結合クリッピングは、スケールが多様な状況で各ベクトルごとのクリッピングより優れる場合がある。
• 単一のガウス和クエリの同等性により、複雑で多グループのDP機構に統一されたプライバシー会計を適用できる。
• ハイパーパラメータ戦略（q、S_g、sigma_g）は、有用性を保ちながら目標とするプライバシー保証（ε、δ）を達成するための指針を提供する。
• TensorFlow Privacy はこれらのアイデアを実装し、DPQuery の抽象と事後会計のためのプライバシー台帳を提供する。