[論文レビュー] Learning Differentially Private Recurrent Language Models

H. Brendan McMahan, Daniel Ramage+2 more|arXiv (Cornell University)|Oct 18, 2017

Privacy-Preserving Technologies in Data被引用数 670

ひとこと要約

著者らは、ノイズ付きの Federated Averaging アプローチとモーメント・アカウンタを用いてユーザーレベルの差分プライバシーを適用した大規模な LSTM 言語モデルを訓練し、非プライベートモデルと同等の精度をかなりの計算コストで達成し、データセットが大きいほどプライバシーが改善される。

ABSTRACT

We demonstrate that it is possible to train large recurrent language models with user-level differential privacy guarantees with only a negligible cost in predictive accuracy. Our work builds on recent advances in the training of deep networks on user-partitioned data and privacy accounting for stochastic gradient descent. In particular, we add user-level privacy protection to the federated averaging algorithm, which makes "large step" updates from user-level data. Our work demonstrates that given a dataset with a sufficiently large number of users (a requirement easily met by even small internet-scale datasets), achieving differential privacy comes at the cost of increased computation, rather than in decreased utility as in most prior work. We find that our private LSTM language models are quantitatively and qualitatively similar to un-noised models when trained on a large dataset.

研究の動機と目的

• リカレント言語モデルに対して強力なユーザーレベルの差分プライバシー保証を提供する。
• ノイズとクリッピングを用いて Federated Averaging を拡張し、ユーザレベルで DP を達成する。
• プライベートな LSTM が大規模データセットで非プライベートな性能と同等になり得ることを示す。
• 複雑なモデルのプライベート訓練におけるパラメータ調整に関する実用的な指針を提供する。

提案手法

• モデル訓練に対してユーザー近傍の差分プライバシーを訓練に適用する。
• ランダムなユーザー抽出、個々の更新のクリッピング、ガウシアンノイズを用いたノイズ付き Federated Averaging（DP-FedAvg）を導入する。
• 集約時の重み付き平均に対して、二つの有界感度推定量を使用する（tilde{f}_f と tilde{f}_c）。
• 集約前にL2ノルムを制限するために各ユーザの更新をクリップする。
• 推定感度にスケールされたガウシアンノイズを追加し、モーメント・アカウンタを用いてプライバシー損失を制限する。
• サンプリングによる増幅を活用して大規模データセットでより厳密な DP 保証を得る。

実験結果

リサーチクエスチョン

• RQ1 ユーザーレベルの差分プライバシーを、大規模なリカレント言語モデルの訓練に実用的に適用できるか、実用上の性能低下を抑えられるか？
• RQ2 異なるクリッピングとノイズ設定で、精度とプライバシーのトレードオフの観点で DP-FedAvg はどのように機能するか？
• RQ3 データセットサイズが達成可能なプライバシー保証とモデル有用性に与える影響は？
• RQ4 LSTM のプライベート訓練におけるクリッピング限界とノイズの調整に関する実用的な指針は何か？

主な発見

• プライベートな LSTM 言語モデルは、強力なユーザーレベル DP を用いて大規模データセットでほぼ非プライベートと同等の精度を達成できる。
• 763,430 ユーザーのデータセットでは、非プライベート訓練は 4120 ラウンドで 17.5% の精度を達成するのに対し、(4.6, 1e-9) の DP を用いたプライベート訓練は同様の精度を 4980 ラウンドで達成する（1 ラウンドあたり約 5000 ユーザーを処理）ただし計算コストは約60倍。
• データセットサイズを約 1e8 ユーザーへ増やすと、同じ枠組みの下でプライバシーを (1.2, 1e-9) に向上させつつ、類似の有用性を維持できる。
• DP-FedAvg は、複雑なモデル（埋め込み + 密な状態遷移）を DP の下で訓練することを可能にするが、計算コストは高い。
• 経験的結果はパラメータ調整の指針を提供し、データセットが十分に大きい場合は、プライバシーコストが有用性の低下よりも計算量に左右されることを示す。