[論文レビュー] Wireless Federated Learning with Local Differential Privacy

Mohamed Seif, Ravi Tandon+1 more|arXiv (Cornell University)|Feb 12, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 25

ひとこと要約

本稿は、ガウス多重アクセスチャネル上での無線フェデレーテッドラーニングフレームワークを提案し、局所的微分プライバシー（LDP）とアナログ勾配集約を統合する。無線媒体の重ね合わせ特性を活用することで、各ユーザーのプライバシー漏洩が $\mathcal{O}(1/\sqrt{K})$ に比例するスケーリングを達成する。これは直交伝送よりも顕著に優れている。同時に、ユーザー数と送信電力の増加に伴い、集中学習性能に収束する。

ABSTRACT

In this paper, we study the problem of federated learning (FL) over a wireless channel, modeled by a Gaussian multiple access channel (MAC), subject to local differential privacy (LDP) constraints. We show that the superposition nature of the wireless channel provides a dual benefit of bandwidth efficient gradient aggregation, in conjunction with strong LDP guarantees for the users. We propose a private wireless gradient aggregation scheme, which shows that when aggregating gradients from $K$ users, the privacy leakage per user scales as $\mathcal{O}\big(\frac{1}{\sqrt{K}} \big)$ compared to orthogonal transmission in which the privacy leakage scales as a constant. We also present analysis for the convergence rate of the proposed private FL aggregation algorithm and study the tradeoffs between wireless resources, convergence, and privacy.

研究の動機と目的

• 強いプライバシー保証を達成しつつ、学習効率を損なわずに無線フェデレーテッドラーニングにおける課題に対処すること。
• 無線チャネルの物理層特性が、帯域幅効率の良い勾配集約と局所的微分プライバシー（LDP）保護を同時に可能にするかを調査すること。
• プライベートな無線FLシステムにおいて、無線リソース割り当て（電力、ユーザー数）、収束速度、およびプライバシー漏洩のトレードオフを分析すること。
• LDP準拠を満たすために、勾配の整合性と人工ノイズの注入を同時に最適化する新しいアナログ集約方式を設計すること。

提案手法

• 無線FLシステムを、$K$ 個の単一素子アンテナユーザーと中央のパラメータサーバー（PS）を有する平坦 fading ガウス多重アクセスチャネル（MAC）としてモデル化する。
• 各ユーザーは、局所的に計算された勾配と人工的に追加されたガウスノイズの線形結合を送信し、チャネルゲインに応じてスケーリングすることで、PSでのコherentな集約を可能にする。
• ユーザーごとの電力制約を採用し、PSでは完全なチャネル状態情報（CSI）を仮定するが、ユーザーは自身のチャネル係数を把握している。
• 人工ノイズのパrameterを調整することで、各ユーザーで $\epsilon$-局所的微分プライバシー（LDP）制約を満たすプライバシー機構を導入する。
• PSでバイアスのない勾配推定器を導出し、その2次モーメントが有界であることを保証することで、標準的な確率的勾配降下（SGD）理論による収束解析を可能にする。
• 滑らかで凸な損失関数を対象とした収束解析フレームワークを用い、最適な集中学習解に対する期待訓練誤差の上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 無線チャネルの重ね合わせ特性を活用することで、帯域幅効率の向上とフェデレーテッドラーニングにおける局所的微分プライバシーの強化を同時に達成できるか？
• RQ2 直交伝送と比較して、非直交伝送における無線FLシステムにおいて、ユーザー数 $K$ の増加に伴い、ユーザーごとのプライバシー漏洩はどのようにスケーリングするか？
• RQ3 無線リソース割り当て（送信電力、ユーザー数）とプライベートFL学習プロセスの収束速度の間には、どのようなトレードオフがあるか？
• RQ4 提案されたアナログ集約方式は、直交伝送と比較して、プライバシー、精度、帯域幅効率の観点でどのように異なるか？
• RQ5 滑らかで凸な損失関数下で、提案されたプライベートな無線FLアルゴリズムの収束特性はいかなるものか？

主な発見

• 提案された非直交アナログ集約方式では、ユーザーごとのプライバシー漏洩が $\mathcal{O}(1/\sqrt{K})$ に比例するスケーリングを示し、これは直交伝送における一定のプライバシー漏洩と比較して顕著な改善である。
• ユーザー数 $K$ が増加するにつれ、訓練損失はより速く減少し、すべてのデータがPSに集約された集中学習環境の性能に収束する。
• 高い送信電力は、反復回数に伴う訓練損失の低下を速める。これは、信号対ノイズ比（SNR）の向上に伴う収束の改善を示している。
• シミュレーション（$T=1000$ 回の反復）により、提案された非直交アナログ方式は、帯域幅効率および収束精度の両面で直交伝送を上回ることが示された。
• アルゴリズムの収束速度は、$\mathds{E}[F(\mathbf{w}_T)] - F(\mathbf{w}^*) \leq \frac{2\mu G^2}{\lambda^2 T}$ で上限が与えられ、ここで $G^2$ は勾配ノルム、ノイズ分散、および電力割り当てに依存する。
• 提案された方式は、プライバシー、収束、リソース使用のバランスを達成しており、学習が進行するに従い、局所的摂動とチャネルノイズの分散が支配的になる。