[論文レビュー] Decentralized Federated Learning via SGD over Wireless D2D Networks

Hong Xing, Osvaldo Simeone+1 more|arXiv (Cornell University)|Feb 28, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 7

ひとこと要約

本稿は、干渉制限付きスケジューリングとスパarsityに基づく信号復元を用いて、無線デバイスツーデバイス（D2D）ネットワークにおける分散型確率的勾配降下法（DSGD）のデジタルおよびアナログの空中経由実装を提案する。星型トポロジでは、空中での計算が効率的であるためアナログ手法がデジタル手法を上回るが、性能にはスケジューリング最適化が不可欠である。

ABSTRACT

Federated Learning (FL), an emerging paradigm for fast intelligent acquisition at the network edge, enables joint training of a machine learning model over distributed data sets and computing resources with limited disclosure of local data. Communication is a critical enabler of large-scale FL due to significant amount of model information exchanged among edge devices. In this paper, we consider a network of wireless devices sharing a common fading wireless channel for the deployment of FL. Each device holds a generally distinct training set, and communication typically takes place in a Device-to-Device (D2D) manner. In the ideal case in which all devices within communication range can communicate simultaneously and noiselessly, a standard protocol that is guaranteed to converge to an optimal solution of the global empirical risk minimization problem under convexity and connectivity assumptions is Decentralized Stochastic Gradient Descent (DSGD). DSGD integrates local SGD steps with periodic consensus averages that require communication between neighboring devices. In this paper, wireless protocols are proposed that implement DSGD by accounting for the presence of path loss, fading, blockages, and mutual interference. The proposed protocols are based on graph coloring for scheduling and on both digital and analog transmission strategies at the physical layer, with the latter leveraging over-the-air computing via sparsity-based recovery.

研究の動機と目的

• fading、パスロス、干渉などの現実的な物理層障害を伴う無線D2Dネットワークにおける分散型フェデレーテッドラーニング（FL）の実装の挑戦に取り組む。
• デジタルおよびアナログ伝送戦略を活用して、無線制約下でもDSGDの収束を可能にする通信プロトコルを設計する。
• 干渉を管理し、密度の高いD2Dトポロジにおける効率的なマルチノード通信を可能にする、グラフ彩色に基づくスケジューリングを導入する。
• 収束速度および最終モデルの精度の観点から、アナログ空中計算と従来のデジタル伝送の性能を評価する。
• 異なるネットワーク接続性および干渉条件における、デジタルおよびアナログ実装のトレードオフに関する知見を提供する。

提案手法

• グラフ彩色を用いて同時に送信を回避するようにスケジューリングされたデバイス伝送に基づき、干渉を伴う無線フェージングチャネルを用いたデジタルDSGD実装を提案する。
• デバイスが同時に圧縮され、スパースなモデルパラメータを送信する空中計算を用いたアナログDSGDの変種を実装し、ネットワークの重ね合わせ特性により受信側で直接合計を計算可能にする。
• モデル更新ベクトルの絶対値が最大の$k$個の要素のみを保持することで、上行リンク信号の量を削減するため、演算子$\mathrm{sparse}_{k}(\cdot)$によるスパース化を適用する。
• 共感応ベースのDSGD更新ルールを用いる：$\theta_i^{(t)} = \theta_i^{(t-1)} - \eta \nabla f_i(\theta_i^{(t-1)}) + \sum_{j \in \mathcal{N}_i} w_{ij} (\theta_j^{(t-1)} - \theta_i^{(t-1)})$、ここで$w_{ij}$は対称かつ双確率的行列からの重みである。
• 干渉を最小限に抑えるために、デバイスペアにタイムスロットを割り当てるグラフ彩色に基づくスケジューリングポリシーを設計し、各ブロック内で並列通信を可能にする。
• 平均SNRを$K=8$デバイスで40 dBに設定し、通信モデルにパワー制御および信号対ノイズ比（SNR）制約を統合する。

実験結果

リサーチクエスチョン

• RQ1 実際のチャネル条件下で、空中計算によるアナログ伝送が、従来のデジタルDSGDを上回る性能を示せるか？
• RQ2 エッジ確率$p$で制御されるネットワークトポロジの密度は、デジタルおよびアナログDSGD実装間の性能トレードオフにどのように影響するか？
• RQ3 グラフ彩色に基づくスケジューリングによる干渉管理は、分散FLの収束性および精度にどのような影響を与えるか？
• RQ4 スパース化および信号復元技術は、モデル性能を劣化させることなく、無線DSGDにおける通信効率をどのように向上させるか？
• RQ5 どのようなネットワーク条件下で、アナログDSGD実装がデジタルDSGDよりも速い収束および高い最終的精度を達成するか？

主な発見

• スパースで星型のトポロジ（$p=0.1$）では、アナログDSGD実装が収束速度および最終テスト精度の両面でデジタルDSGDを上回り、トレーニングの初期段階でより高い平均テスト精度を達成する。
• より密度の高いトポロジ（$p=0.3$）では、干渉の増加と各通信ブロックあたりの有効な信号観測数の減少により、アナログDSGDの性能優位性が薄れる。
• TDMAベースのスケジューリングは、スペクトル利用効率が低いことからアナログ伝送には不適切であるが、デジタルケースでは提案された干渉認識スケジューリングと同等の性能を示す。
• 通信なしのベースラインは性能が著しく低く、局所データセットが小さくクラスが不完全な状況では、デバイス間連携がモデル収束に不可欠であることを確認する。
• 提案されたグラフ彩色に基づくスケジューリングにより、効率的な並列通信が可能となり、ナーブまたは干渉無視型の手法と比べて収束性が顕著に向上する。
• $k = d(1 - 0.4^{1/K})$を用いたスパース化は、上行リンク信号の量を効果的に削減しながらモデル精度を維持し、アナログ方式における効率的な空中計算を可能にする。