[論文レビュー] LDP-Fed: Federated Learning with Local Differential Privacy

Stacey Truex, Ling Liu+3 more|arXiv (Cornell University)|Jun 5, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 25

ひとこと要約

LDP-Fed は、深層ニューラルネットワーク学習における高次元連続モデルパラメータの保護を目的として、ローカル微分プライバシー（LDP）を統合したフェデレーテッドラーニングフレームワークを提案する。本研究では、参加者ごとのプライバシー予算を管理するための新しい LDP モジュールと、ノイズの影響を最小限に抑える選択的ノイズ付加メカニズムを導入し、大規模 DNN 学習において最小限の精度損失で強力なプライバシー保証を達成する。

ABSTRACT

This paper presents LDP-Fed, a novel federated learning system with a formal privacy guarantee using local differential privacy (LDP). Existing LDP protocols are developed primarily to ensure data privacy in the collection of single numerical or categorical values, such as click count in Web access logs. However, in federated learning model parameter updates are collected iteratively from each participant and consist of high dimensional, continuous values with high precision (10s of digits after the decimal point), making existing LDP protocols inapplicable. To address this challenge in LDP-Fed, we design and develop two novel approaches. First, LDP-Fed's LDP Module provides a formal differential privacy guarantee for the repeated collection of model training parameters in the federated training of large-scale neural networks over multiple individual participants' private datasets. Second, LDP-Fed implements a suite of selection and filtering techniques for perturbing and sharing select parameter updates with the parameter server. We validate our system deployed with a condensed LDP protocol in training deep neural networks on public data. We compare this version of LDP-Fed, coined CLDP-Fed, with other state-of-the-art approaches with respect to model accuracy, privacy preservation, and system capabilities.

研究の動機と目的

• 高次元連続モデルパラメータを共有する際のフェデレーテッドラーニングにおける形式的プライバシー保証の欠如に対処すること。
• ローカル微分プライバシー（LDP）を単一値のカテゴリカルデータから、深層学習における複雑で高精度なモデル更新へと拡張すること。
• 信頼できるアグリゲーターに依存せずに、個々の参加者が自らのローカルプライバシー予算を定義できること。
• 形式的プライバシー保証を維持しながら、ノイズの影響がモデル収束に与える悪影響を最小限に抑えること。
• 大規模フェデレーテッドラーニングにおいて、強いプライバシー制約下でも高いモデル精度を維持できるシステムの開発

提案手法

• フェデレーテッドラーニングにおける繰り返し高次元モデルパラメータ更新に形式的微分プライバシーを適用するための新しい LDP モジュールの設計。
• 各学習ラウンドでモデルパラメータの一部のみをノイズ付加および送信することで、ノイズ蓄積を低減する選択的共有戦略の実装。
• 高精度連続値モデルパラメータ（小数点以下 10 桁以上）を処理できるように、連続 LDP メカニズムの適応。
• CLDP-Fed の変種において、プライバシーを保持したままシステム効率を向上させるための凝縮型 LDP プロトコル（CLDP）の使用。
• プライバシー予算とモデルパフォーマンスのバランスを取るためのユーティリティ認識ノイズ付加技術の統合。
• 信頼できる第三者を必要としない LDP準拠のアグリゲーションをサポートするパラメータサーバーのアーキテクチャ設計。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける高次元連続モデルパラメータに、ローカル微分プライバシーを形式的に適用可能か？
• RQ2 ノイズ注入をどのように最適化すれば、深層ニューラルネットワーク学習におけるモデルの実用性を保ちながら強力なプライバシー保証を達成できるか？
• RQ3 信頼できるアグリゲーターが存在しないフェデレーテッドラーニングシステムにおいて、参加者が自らのローカルプライバシー予算を定義・実行可能か？
• RQ4 LDP を強化したフェデレーテッドラーニングにおいて、プライバシー予算、モデル精度、システム効率のトレードオフはいかなるものか？
• RQ5 LDP-Fed は、プライバシー、精度、システム能力の観点から、最先端のプライバシー保護型フェデレーテッドラーニング手法と比較してどのように差をつけるか？

主な発見

• LDP-Fed は、LDP を高次元連続モデルパラメータへと成功裏に拡張し、フェデレーテッドディープラーニングにおける形式的プライバシー保証を実現した。
• CLDP-Fed の変種は、最先端の手法と同等のモデル精度を達成しながらも、強力なプライバシー保護を維持している。
• 参加者は自らのプライバシー予算をローカルで定義でき、細かく調整された個別化されたプライバシー保護が可能である。
• 選択的ノイズ付加およびフィルタリング機構により、ノイズの影響が顕著に低減され、収束性とモデル実用性が向上した。
• LDP-Fed は、重い暗号技術や信頼できるアグリゲーターに依存しない点で、既存手法に比べてシステム機能面で優れている。
• 実験的評価により、LDP-Fed が厳しいプライバシー予算下でも高いモデル精度を維持していることが確認され、実世界への展開における実用性が示された。