[論文レビュー] Communication Efficient Federated Learning over Multiple Access Channels

Wei-Ting Chang, Ravi Tandon|arXiv (Cornell University)|Jan 23, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 52

ひとこと要約

この論文は、フェデレーテッド学習のためのデジタル勾配伝送を設計し、勾配の情報量とチャネル容量に基づいてユーザーごとの量子化予算を割り当てるMAC対応の確率的勾配量子化を導入して収束を改善する。収束解析と最適化フレームワークを提供し、二ユーザーの例と実験によりMAC対応量子化が均一および他のデジタル方式を上回ることを示す。

ABSTRACT

In this work, we study the problem of federated learning (FL), where distributed users aim to jointly train a machine learning model with the help of a parameter server (PS). In each iteration of FL, users compute local gradients, followed by transmission of the quantized gradients for subsequent aggregation and model updates at PS. One of the challenges of FL is that of communication overhead due to FL's iterative nature and large model sizes. One recent direction to alleviate communication bottleneck in FL is to let users communicate simultaneously over a multiple access channel (MAC), possibly making better use of the communication resources. In this paper, we consider the problem of FL learning over a MAC. In particular, we focus on the design of digital gradient transmission schemes over a MAC, where gradients at each user are first quantized, and then transmitted over a MAC to be decoded individually at the PS. When designing digital FL schemes over MACs, there are new opportunities to assign different amount of resources (such as rate or bandwidth) to different users based on a) the informativeness of the gradients at each user, and b) the underlying channel conditions. We propose a stochastic gradient quantization scheme, where the quantization parameters are optimized based on the capacity region of the MAC. We show that such channel aware quantization for FL outperforms uniform quantization, particularly when users experience different channel conditions, and when have gradients with varying levels of informativeness.

研究の動機と目的

• 複数アクセスチャネル（MAC）を活用してフェデレーテッド学習の通信オーバーヘッドを削減する動機付け。
• MAC容量と勾配情報量に合わせてユーザーごとの量子化予算を調整するデジタル勾配伝送方式を開発する。
• MAC容量制約の下で量子化予算を割り当てる最適化問題を定式化し解く。
• 二ユーザーの例とMNISTの実験を通じて、理論的収束保証と実務上の洞察を提供する。

提案手法

• ガウスMACを介してパラメータサーバー（PS）へ量子化勾配を送る複数のユーザーでFLをモデル化する。
• 各ユーザーに対してダイナミックレンジに基づく予算 k_m を決定する確率的多レベル勾配量子化を導入する。
• 無偏導関と有界分散を持つ勾配推定を証明し、勾配のダイナミックレンジと量子化予算に依存する収束境界を導出する。
• MAC対応の最適化問題（問題 P）を定式化し、MAC容量制約の下でユーザー間の分散和を最小化する。
• 2ユーザーケースの緩和凸問題を解析的に解いて、勾配レンジとMAC容量の関数としての予算配分の洞察を得る。
• MNISTの実験を通じて、MAC対応量子化が均一割り当てと他のデジタル方式を上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 MAC上で送信するユーザー間の伝送レート（量子化予算）をどのように割り当ててフェデレーテッド学習の収束を最適化するべきか？
• RQ2 勾配の情報量（ダイナミックレンジ）とMAC容量が最適な各ユーザーの量子化予算にどのような影響を及ぼすのか？
• RQ3 多ユーザーFL over MACにおいて、反復ごとの予算最適化の凸緩和が実用的で準最適な割り当てを生み出すか？
• RQ4 MAC対応スキームは実践で均一量子化や既存のデジタルスキームよりも優れているか？

主な発見

• MAC対応勾配量子化は、より情報量の多い勾配（ダイナミックレンジが大きい）をもつユーザーにより多くのレートを割り当てる。
• 収束境界は各ユーザーの勾配量子化分散の和に依存し、それはダイナミックレンジと量子化レベルによって制御される。
• 二ユーザーの場合、最適な予算は勾配ダイナミックレンジとMAC容量を結ぶ閉形式のような条件で特徴づけられる。
• MNISTの実験では、MAC対応量子化が均一割り当て、従来のデジタル方式、SignSGD、TernGradを上回り、フル分解像度の性能に近づく。
• 総電力の増加（MAC容量の拡大）は訓練精度を改善し、スキームはそれに応じて量子化予算を適応させる。
• このアプローチはMAC制約下で無偏勾配推定を有界分散で維持する。