[論文レビュー] Protecting Data from all Parties: Combining FHE and DP in Federated Learning

Arnaud Grivet Sébert, Renaud Sirdey+2 more|arXiv (Cornell University)|May 9, 2022

Cryptography and Data Security被引用数 7

ひとこと要約

この論文は、同型暗号（HE）と微分プライバシー（DP）を組み合わせることで、すべての参加者—クライアント、サーバー、エンドユーザー—の学習データのプライバシーを同時に保護する、新しいフェデレーテッドラーニングフレームワークを提案する。HEの量子化制約にもかかわらずDPの保証を維持できるように、ポisson分布に基づく確率的量子化演算子を導入し、FEMNIST上で実用的なモデル精度と計算可能性を示している。

ABSTRACT

This paper tackles the problem of ensuring training data privacy in a federated learning context. Relying on Homomorphic Encryption (HE) and Differential Privacy (DP), we propose a framework addressing threats on the privacy of the training data. Notably, the proposed framework ensures the privacy of the training data from all actors of the learning process, namely the data owners and the aggregating server. More precisely, while HE blinds a semi-honest server during the learning protocol, DP protects the data from semi-honest clients participating in the training process as well as end-users with black-box or white-box access to the trained model. In order to achieve this, we provide new theoretical and practical results to allow these techniques to be rigorously combined. In particular, by means of a novel stochastic quantisation operator, we prove DP guarantees in a context where the noise is quantised and bounded due to the use of HE. The paper is concluded by experiments which show the practicality of the entire framework in terms of both model quality (impacted by DP) and computational overhead (impacted by HE).

研究の動機と目的

• フェデレーテッドラーニングにおける準正直なクライアントおよびサーバーが、モデル更新から機微なデータを推定するというプライバシー脅威に対処する。
• データ所有者、参加クライアント、サーバー、モデルへのアクセス権を持つエンドユーザーの全員からデータを保護することで、エンドツーエンドのプライバシーを確保する。
• 微分プライバシー（DP）がノイズの注入を要するのに対し、同型暗号（HE）が有界で量子化された入力を必要とするという、両者の不適合を克服する。
• HEの制約によってノイズが量子化される状況でも、DPの保証を維持できる量子化メカニズムを設計する。
• HE+DPフレームワークの実用性を、モデル精度、プライバシーコスト、計算オーバーヘッドの観点から実証する。

提案手法

• 送信前に適切にパラメータ化されたガウスノイズを注入することで、クライアントの更新に微分プライバシーを適用する。
• クライアントの更新を送信する前に同型暗号で暗号化し、サーバーが生データや中間結果にアクセスできないようにする。
• 連続的でノイズののった勾配をHEに適した離散値にマッピングするため、ポisson分布に基づく新しい確率的量子化演算子を導入する。
• 提案された量子化が、元のガウスメカニズムの微分プライバシー保証を維持することを証明し、追加のプライバシー解析を必要としない。
• ノイズ注入の後処理として量子化演算子を統合することで、量子化の影響にもかかわらずプライバシー予算が変化しないことを保証する。
• 医療機関や機関間連携を想定した現実的なパrameterを用いて、FEMNISTデータセット上でクロスシロ型FL設定でフレームワークを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーと同型暗号を、プライバシー保証に影響を与えることなく、フェデレーテッドラーニングで厳密に組み合わせることは可能か？
• RQ2 同型暗号の制約によって量子化されるノイズに対しても、微分プライバシーがどのように保たれるか？
• RQ3 DPとHEをシームレスに統合できる量子化メカニズムは何か？ そのメカニズムが、すべての参加者からのエンドツーエンドのプライバシー保護を維持できるか？
• RQ4 フェデレーテッドラーニングパイプラインにHEとDPを適用した際の、モデル精度と計算オーバーヘッドのトレードオフは何か？
• RQ5 医療AIのような、データの機微さと機関間連携が重要な実世界の応用に、提案されたフレームワークはスケーラブルか？

主な発見

• ポisson分布に基づく確率的量子化演算子は、元のガウスメカニズムの微分プライバシー保証を維持しており、追加のプライバシー解析を必要としない。
• フレームワークはエンドツーエンドのプライバシーを確保する：サーバーはHEにより生データを保護され、クライアントはDPにより保護され、エンドユーザーはモデル出力に対するDPにより保護される。
• FEMNISTデータセットにおける実験では、プライバシー保護メカニズムの影響にもかかわらず、モデルは許容できる精度を維持しており、DPによる性能低下は測定可能ではあるが管理可能である。
• 同型暗号によって引き起こされる計算オーバーヘッドは限定的で実用的であり、クライアント数が中程度のクロスシロ型設定では特に顕著である。
• アクティブクライアント数と総クライアント数の比（$K/M$）はDPの有効性に顕著な影響を及ぼし、$M$を増やすことでプライバシー保証が向上する一方で、モデル性能は維持される。
• フレームワークは検証可能計算拡張と互換性があるため、今後の研究で悪意あるサーバーに対するレジリエンスを実現する道筋が示唆される。