[論文レビュー] Efficient Federated Learning over Multiple Access Channel with Differential Privacy Constraints

Amir Sonee, Stefano Rini|arXiv (Cornell University)|May 15, 2020

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、多重アクセスチャネル（MAC）上でのフェデレーテッドラーニングフレームワークを提案し、量子化された確率的勾配降下法（QSGD）とデジタル人工雑音の注入を組み合わせることで、通信効率と微分プライバシーの両方を最適化する。主な貢献は、容量制約およびプライバシー制約の下で収束速度を最大化するための定量的最適化であり、低い送信レートがプライバシーを保ちながらも高速な収束を可能にすることを示している。

ABSTRACT

In this paper, the problem of federated learning (FL) through digital communication between clients and a parameter server (PS) over a multiple access channel (MAC), also subject to differential privacy (DP) constraints, is studied. More precisely, we consider the setting in which clients in a centralized network are prompted to train a machine learning model using their local datasets. The information exchange between the clients and the PS takes places over a MAC channel and must also preserve the DP of the local datasets. Accordingly, the objective of the clients is to minimize the training loss subject to (i) rate constraints for reliable communication over the MAC and (ii) DP constraint over the local datasets. For this optimization scenario, we proposed a novel consensus scheme in which digital distributed stochastic gradient descent (D-DSGD) is performed by each client. To preserve DP, a digital artificial noise is also added by the users to the locally quantized gradients. The performance of the scheme is evaluated in terms of the convergence rate and DP level for a given MAC capacity. The performance is optimized over the choice of the quantization levels and the artificial noise parameters. Numerical evaluations are presented to validate the performance of the proposed scheme.

研究の動機と目的

• 無線ネットワークにおけるチャネル容量が限られる状況下で、効率的かつプライバシー保護型のフェデレーテッドラーニングを実現すること。
• フェデレーテッドラーニングのための多重アクセスチャネル（MAC）通信モデルに微分プライバシー制約を統合すること。
• 分散学習における収束速度、通信効率、プライバシー保護のトレードオフを最適化すること。
• ローカルデータのプライバシーを保ちつつ高いモデル精度を維持できるデジタル通信方式を開発すること。
• 通信容量およびプライバシー制約下での最適な量子化および雑音パラメータの解析的条件を導出すること。

提案手法

• クライアントはローカルデータセット上で分散確率的勾配降下法（D-DSGD）を実行し、多段階量子化を用いて勾配を量子化する。
• ローカル微分プライバシー（LDP）を確保するために、二項分布モデルを用いたデジタル人工雑音が量子化された勾配に追加される。
• MACの容量制約およびLDP制約の下で収束速度を最大化する目的関数として、整数非線形プログラミング（INLP）問題に定式化される。
• 与えられたプライバシー予算に対して、収束速度を最大限に高めるために、量子化レベルと雑音パラメータのバランスを最適化する。
• 高度な集中不等式および二項分布モデルのLDP解析を用いて、プライバシー損失の理論的境界を導出する。
• 数値的評価により、合成データを用いたリッジ回帰を用いて、さまざまなSNR、プライバシー閾値、チャネル状態の下で本手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多重アクセスチャネル上でのフェデレーテッドラーニングを、通信効率と微分プライバシーの両面で最適化する方法は何か？
• RQ2 通信容量およびプライバシー制約下で収束速度を最大化するための、量子化レベルと人工雑音パラメータの最適なトレードオフは何か？
• RQ3 信号対雑音比（SNR）は、このフレームワークにおける収束速度および達成可能なプライバシー水準にどのように影響するか？
• RQ4 本手法は、ローカル微分プライバシーを保持しつつ、従来の手法よりも収束速度が速くなるか？
• RQ5 制限されたチャネル容量下で、システムが所望のローカル微分プライバシー水準に達するための解析的条件は何か？

主な発見

• 提案されたBinLDP-QSGD方式は、通信容量およびプライバシー制約下で量子化および雑音パラメータを最適化することで、より高速な収束を達成する。
• 固定されたプライバシー予算（Δε = 4, δ = 10⁻²）の下で、SNRを向上させることで収束速度および達成可能なプライバシー水準が向上する。
• 高いSNRでは、低雑音および高量子化レベルを用いることができ、結果として収束が速くなり、モデル精度も向上する。
• 最適な戦略は、LDP制約を満たす範囲で可能な限り高い量子化レベルと最低限の雑音レベルを使用することであり、すなわちεᵗ = Δεとなる。
• SNRが高くなると収束速度が顕著に向上し、繰り返し回数に伴い訓練損失がより速く減少する。
• 同じチャネル容量下で、非プライベートベースラインと比較して収束速度が20%向上する。