[論文レビュー] FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection

Ruixuan Liu, Yang Cao+2 more|arXiv (Cornell University)|Mar 24, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 8

ひとこと要約

FedSelは、局所的微分プライバシー（LDP）下で、勾配の次元数に基づいてプライベートに上位k個の次元を選択することで次元の問題を軽減する二段階のフェデレーテッドSGDフレームワークを提案する。これにより、ノイズ依存性をO(√d)からO(1/√d)に低減する。最新のLDP手法と比較してモデルの精度を向上させ、必要なバッチサイズも削減する。プライバシー、有効性、収束安定性の理論的・実験的妥当性を確認している。

ABSTRACT

As massive data are produced from small gadgets, federated learning on mobile devices has become an emerging trend. In the federated setting, Stochastic Gradient Descent (SGD) has been widely used in federated learning for various machine learning models. To prevent privacy leakages from gradients that are calculated on users' sensitive data, local differential privacy (LDP) has been considered as a privacy guarantee in federated SGD recently. However, the existing solutions have a dimension dependency problem: the injected noise is substantially proportional to the dimension $d$. In this work, we propose a two-stage framework FedSel for federated SGD under LDP to relieve this problem. Our key idea is that not all dimensions are equally important so that we privately select Top-k dimensions according to their contributions in each iteration of federated SGD. Specifically, we propose three private dimension selection mechanisms and adapt the gradient accumulation technique to stabilize the learning process with noisy updates. We also theoretically analyze privacy, accuracy and time complexity of FedSel, which outperforms the state-of-the-art solutions. Experiments on real-world and synthetic datasets verify the effectiveness and efficiency of our framework.

研究の動機と目的

• LDPベースのフェデレーテッドSGDにおける次元依存性の問題に対処する。ここでノイズは次元dに比例し、モデルの有効性を低下させる。
• 妥当な精度を得るためのクライアントバッチサイズを低減する。現在のLDP-SGD手法では、このバッチサイズがdに線形に比例している。
• ε-LDPを満たすプライベートな上位k個の次元選択メカニズムを設計し、モデルの有効性を保ちつつプライバシーコストを最小限に抑える。
• ノイズが多く遅延する更新の下でも収束を安定化させるために、分散を低減する勾配蓄積技術を適応させる。
• 動的なクライント参加に対応できるハイパーパrameterフリーな次元選択戦略を設計し、性能を維持する。

提案手法

• 二段階フレームワークを提案する：(1) 三つの新しいLDPメカニズムを用いたプライベートな上位k個の次元選択、(2) 選択された次元における値のノイズ注入。
• 指数的メカニズム、しきい値処理、適応的サンプリングに基づく三つのプライベートな上位k個選択メカニズムを設計。それぞれがε-LDPを満たし、値のノイズ注入段階とは独立している。
• 勾配蓄積にモーメンタムを適応させ、LDPノイズの影響を受ける更新の下でも学習を安定化させる。これにより、ノイズの影響による分散を低減する。
• プライバシー（ε-LDP）、有効性（誤差スケーリングの低減）、時間計算量の理論的分析を行い、O(√d)からO(1/√d)への依存性の改善を示す。
• チューニングなしで動作するハイパーパrameterフリーな戦略を導入し、安全なしきい値θ=0.2を設定することで、動的なバッチサイズに適応する。
• 実データおよび合成データセット上でFedSelを実装・評価し、フラットおよび圧縮LDP-SGDベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 プライベートな上位k個の勾配次元選択は、LDPベースのフェデレーテッドSGDにおける次元に起因するノイズを低減できるか？
• RQ2 上位k個のプライベート選択は、ランダムプロジェクションやフラットLDPメカニズムと比較して、モデルの精度と必要なバッチサイズにおいて優れているか？
• RQ3 分散低減を伴う勾配蓄積は、LDPノイズの影響下でもフェデレーテッド学習における収束を安定化できるか？
• RQ4 ハイパーパrameterフリーな選択戦略は、さまざまなクライント参加レベルにおいても性能を維持できるか？
• RQ5 LDP下での上位k個選択において、プライバシー（ε）、有効性（誤差）、計算コストの理論的トレードオフは何か？

主な発見

• FedSelは、LDP推定誤差のスケーリングをO(√d)からO(1/√d)に低減し、高次元設定における有効性を顕著に向上させる。
• 妥当な精度を得るための必要なバッチサイズはΩ(E² log d / (d ε²))とスケーリングされ、フラットLDP-SGDのO(E² d log d / ε²)と比較して顕著に低い。
• θ=0.2を用いたハイパーパrameterフリーな戦略は、動的なバッチサイズにおいても安定した性能を維持し、プライベートベースラインと比較してより低い分散を示す。
• 三つのプライベート上位k個選択メカニズムすべてが、プライベートベースラインを上回るモデル精度を達成する。特に最高性能を示した手法は、実世界のデータセットで最大15%高いテスト精度を達成した。
• 改良された勾配蓄積技術により、ノイズの影響を受ける更新の分散が低減され、遅延やノイズのある勾配でも安定した収束が実現した。
• 実験的結果は、高絶対値の次元を選択することで学習効率が向上し、重要でない勾配を除外することでノイズの影響を低減しつつ、有効性の損失は顕著でないことを確認した。