[論文レビュー] Privacy For Free: Wireless Federated Learning Via Uncoded Transmission With Adaptive Power Control

Dongzhu Liu, Osvaldo Simeone|arXiv (Cornell University)|Jun 9, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 8

ひとこと要約

本稿では、符号化されていない伝送と適応的電力制御を用いたプライバシー保護型無線フェデレーテッドラーニングフレームワークを提案し、SNRが十分に低い場合にチャネルノイズが自然に微分プライバシーを「無料で」提供することを示している。主な貢献は、プライバシー制約および電力制約の下で学習最適性ギャップを最小化する閉形式の最適電力割り当て戦略であり、NOMAはOMAを上回る性能向上を達成し、動的電力制御を組み合わせることで効果を発揮する。

ABSTRACT

Federated Learning (FL) refers to distributed protocols that avoid direct raw data exchange among the participating devices while training for a common learning task. This way, FL can potentially reduce the information on the local data sets that is leaked via communications. In order to provide formal privacy guarantees, however, it is generally necessary to put in place additional masking mechanisms. When FL is implemented in wireless systems via uncoded transmission, the channel noise can directly act as a privacy-inducing mechanism. This paper demonstrates that, as long as the privacy constraint level, measured via differential privacy (DP), is below a threshold that decreases with the signal-to-noise ratio (SNR), uncoded transmission achieves privacy "for free", i.e., without affecting the learning performance. More generally, this work studies adaptive power allocation (PA) for decentralized gradient descent in wireless FL with the aim of minimizing the learning optimality gap under privacy and power constraints. Both orthogonal multiple access (OMA) and non-orthogonal multiple access (NOMA) transmission with "over-the-air-computing" are studied, and solutions are obtained in closed form for an offline optimization setting. Furthermore, heuristic online methods are proposed that leverage iterative one-step-ahead optimization. The importance of dynamic PA and the potential benefits of NOMA versus OMA are demonstrated through extensive simulations.

研究の動機と目的

• チャネルノイズを自然なプライバシー機構として活用することで、学習性能を損なわずに無線フェデレーテッドラーニングにおけるプライバシーを実現すること。
• 微分プライバシーおよび全電力制約の下で学習最適性ギャップを最小化する最適な適応的電力制御戦略を設計すること。
• 無線FLにおけるオрソゴナル多重アクセス（OMA）と非オルソゴナル多重アクセス（NOMA）のスケーリング方式の性能を、空中経由アグリゲーションにおいて比較すること。
• 実用的展開を想定し、オフラインの閉形式解とオンラインのヒューリスティック手法の両方を、動的電力割り当てに用いること。

提案手法

• 微分プライバシーおよび電力制約の下で最適送信電力およびビームフォーミング係数の閉形式解を導出するため、ラグランジュ双対性を用いたオフライン最適化フレームワークを提案する。
• チャネル利得、勾配ノルム、およびプライバシー要件に基づいて動的に電力を割り当てる、新しい適応的電力制御戦略を導入し、学習最適性ギャップを最小化する。
• 最適性の必要条件をカーシュ＝クーン＝タッカー（KKT）条件を用いて導出し、プライバシー制約に関連するラグランジュ乗数に対する二分探索法を用いて最適電力割り当てを解く。
• 複数アクセスチャネルにおける波形重畳を用いた空中計算（OAC）を採用し、自然なチャネルノイズを通じて勾配の統合とプライバシー保護を同時に実現する。
• 時間変動するチャネルおよび動的学習進行状況に適応するため、1ステップ先予測の反復最適化に基づくヒューリスティックなオンライン手法を提案する。
• プライバシー制約は微分プライバシー（DP）を用い、プライバシー予算はチャネル fading および送信電力によって誘発される有効なノイズ電力に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 無線 fading チャネルにおけるチャネルノイズは、追加のノイズ注入なしにフェデレーテッドラーニングにおける微分プライバシーを自然に実現するメカニズムとして機能するか？
• RQ2 無線FLにおける符号化されていない伝送が、学習性能を劣化させることなく、どのようなSNR条件下でプライバシーを「無料で」達成するか？
• RQ3 適応的電力制御は、プライバシー制約および全電力制約の下で、学習最適性ギャップをどのように改善するか？
• RQ4 適応的電力制御を組み合わせた無線フェデレーテッドラーニングにおいて、NOMAはOMAに比べてどのような性能向上を達成するか？
• RQ5 動的無線環境において、オンラインヒューリスティック電力制御手法はオフライン最適解に比べてどれほど効果的か？

主な発見

• 必要な微分プライバシー水準が、信号対雑音比（SNR）に従って減少する閾値以下である場合、プライバシーが「無料で」達成される。これは、SNRが十分に低い場合に性能損失が生じないことを意味する。
• 提案された閉形式の適応的電力制御戦略は、プライバシーおよび電力制約下で最適な学習性能を達成し、チャネル利得および勾配ノルムに明示的な依存関係を持つ。
• NOMAはスペクトル効率の向上とより効果的な電力割り当てにより、特に高移動度または高密度デバイス環境において、OMAを上回る学習性能を発揮する。
• 動的電力制御は、固定電力割り当てと比較して学習収束を顕著に改善し、さまざまなSNRおよびチャネル状態において広範なシミュレーションにより確認された。
• 最適電力割り当ては、プライバシー予算、チャネル品質、および勾配の大きさの関数として導出され、電力およびプライバシー漏洩の制約によって境界づけられる。
• 必要なプライバシー予算が大きい（すなわち、プライバシー漏洩が小さい）場合、最適電力割り当ては勾配情報のマスキングに必要な最小電力によって制限されるが、プライバシー要件が低い場合には、チャネル品質および学習進行状況に基づいて電力が割り当てられる。