[論文レビュー] PPFL: Privacy-preserving Federated Learning with Trusted Execution Environments

Fan Mo, Hamed Haddadi+4 more|arXiv (Cornell University)|Apr 29, 2021

Privacy-Preserving Technologies in Data参考文献 68被引用数 40

ひとこと要約

PPFL は、クライアントとサーバの両方で TEEs 内の DNN レイヤを訓練するプライバシー保護型フェデレーテッドラーニングフレームワークを提案します。貪欲なレイヤー単位の訓練を用いて限られた TEE メモリに対処しつつ、通信ラウンドを削減しつつ、モデルの有用性を同等に保ち、過度のオーバーヘッドを抑えます。

ABSTRACT

We propose and implement a Privacy-preserving Federated Learning ($PPFL$) framework for mobile systems to limit privacy leakages in federated learning. Leveraging the widespread presence of Trusted Execution Environments (TEEs) in high-end and mobile devices, we utilize TEEs on clients for local training, and on servers for secure aggregation, so that model/gradient updates are hidden from adversaries. Challenged by the limited memory size of current TEEs, we leverage greedy layer-wise training to train each model's layer inside the trusted area until its convergence. The performance evaluation of our implementation shows that $PPFL$ can significantly improve privacy while incurring small system overheads at the client-side. In particular, $PPFL$ can successfully defend the trained model against data reconstruction, property inference, and membership inference attacks. Furthermore, it can achieve comparable model utility with fewer communication rounds (0.54$ imes$) and a similar amount of network traffic (1.002$ imes$) compared to the standard federated learning of a complete model. This is achieved while only introducing up to ~15% CPU time, ~18% memory usage, and ~21% energy consumption overhead in $PPFL$'s client-side.

研究の動機と目的

• フェデレーテッドラーニングにおけるプライバシーリスクの動機づけと、データ再構築、特性推定、メンバーシップ推定に対するより強力な保護の必要性。
• 各DNNレイヤをTEEs内で訓練することで、FL中に全レイヤを保護する実用的なフレームワーク PPFL を提案。
• TEE メモリの制約を克服しつつモデルの有用性を維持するため、レイヤー単位訓練とセキュア集約を可能にする。

提案手法

• 貪欲なレイヤー単位訓練とセキュア集約を用いて、クライアントTEEs内の各DNNレイヤを訓練する。
• 2つのセキュアチャネルを使用: REE-to-REE は一般データ交換用、TEE-to-TEE はプライベートなレイヤ更新用。
• サーバのTEE内でレイヤ更新をセキュアに集約し、FedAvgを適用して新しいグローバルレイヤを形成。
• TEE メモリをより有効活用しラウンドを削減するため、ブロック当たり複数レイヤの訓練をサポート。
• フォワードおよびバックワードパス中に、REEとTEE間で中間アクティベーションを移送するモデル分割実行を活用。

実験結果

リサーチクエスチョン

• RQ1 PPFL は FL 中で訓練されたすべてのDNNレイヤに対するデータ再構築、特性推定、メンバーシップ推定攻撃を防ぐことができるか？
• RQ2 TEE 内の貪欲なレイヤー単位訓練を使用した場合、プライバシー保証、モデル有用性、システムオーバーヘッドのトレードオフはどうなるか？
• RQ3 PPFL は標準のエンドツーエンド FL と比較して、ラウンド数、ネットワークトラフィック、クライアント側リソース使用量の点でどうか？

主な発見

• PPFL は、データ再構築、特性推定、およびメンバーシップ推定攻撃に対して訓練済みモデルを防御できる（攻撃はランダム推測または50%の精度へと低下）。
• PPFL は、完全なモデルを訓練する場合、標準の FL と比較して通信ラウンドは約0.54x 少ない、ネットワークトラフィックは約1.002x と同程度であり、最初の数レイヤのみ訓練する場合には同程度のML性能を達成。
• クライアント側で約15%のCPU時間、約18%のメモリ使用量、約21%のエネルギー消費のオーバーヘッドを導入。
• PPFL で全DNNレイヤを訓練するにはエンドツーエンドFLより約3倍の遅延がかかるが、初期レイヤに焦点を当てる場合レイヤー単位訓練は同程度の有用性を達成できる。