[論文レビュー] Resource-Constrained Decentralized Federated Learning via Personalized Event-Triggering

Shahryar Zehtabi, Seyyedali Hosseinalipour+1 more|arXiv (Cornell University)|Nov 23, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、リソース制約のあるエッジデバイスにおける通信の冗長性を低減し、効率を向上させるために、パーソナライズドイベントトリガー通信を用いたリource制約付き分散型フェデレーテッドラーニングフレームワークを提案する。ローカルパラメータの変化と利用可能なリソースに基づいて動的にモデル更新をトリガーすることで、グローバル最適モデルへの収束速度が $\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ に達し、既存の分散型FLベースラインを上回る収束速度と通信効率を達成する。

ABSTRACT

Federated learning (FL) is a popular technique for distributing machine learning (ML) across a set of edge devices. In this paper, we study fully decentralized FL, where in addition to devices conducting training locally, they carry out model aggregations via cooperative consensus formation over device-to-device (D2D) networks. We introduce asynchronous, event-triggered communications among the devices to handle settings where access to a central server is not feasible. To account for the inherent resource heterogeneity and statistical diversity challenges in FL, we define personalized communication triggering conditions at each device that weigh the change in local model parameters against the available local network resources. We theoretically recover the $O(\ln{k} / \sqrt{k})$ convergence rate to the globally optimal model of decentralized gradient descent (DGD) methods in the setup of our methodology. We provide our convergence guarantees for the last iterates of models, under relaxed graph connectivity and data heterogeneity assumptions compared with the existing literature. To do so, we demonstrate a $B$-connected information flow guarantee in the presence of sporadic communications over the time-varying D2D graph. Our subsequent numerical evaluations demonstrate that our methodology obtains substantial improvements in convergence speed and/or communication savings compared to existing decentralized FL baselines.

研究の動機と目的

• 中央コーディネータが利用可能でない、または実用的でないアドホックかつリソース制約のあるエッジネットワークにおける中央集権型フェデレーテッドラーニングの限界を解決すること。
• 非同期的かつイベントトリガー型のモデルアグリゲーションを導入することで、タイミング同期を排除し、分散型FLにおける冗長通信を低減すること。
• ローカルモデルの変化と利用可能なリソースに基づいて、デバイスレベルのリソース非均一性を考慮したパーソナライズド通信トリガー条件を定義すること。
• 標準的な分散学習仮定の下で、グローバル最適モデルへの収束を理論的に確立すること。
• 既存の分散型FLベースラインと比較して、収束速度と通信効率の向上を実証的に検証すること。

提案手法

• デバイスはローカルモデル学習を実行し、ローカルパラメータの変化とローカルリソースの可用性に基づいて、パーソナライズドイベントトリガー条件を満たした場合にのみ通信を行う。
• 物理的ネットワークグラフ上の1ホップネイバー通信を用いた分散型コンSENSUSメカニズムが採用され、中央集権型FLのスターネットワークトポロジーが置き換えられる。
• 通信トリガー条件は、モデル更新の有意性とローカルエネルギーおよび帯域幅制約のバランスを取るしきい値として定義される。
• 収束を保証するために、減少するステップサイズポリシー $\alpha^{(k)} = \frac{\alpha^{(0)}}{(1 + \frac{k}{\gamma})^\theta}$ が使用され、$\theta \in (0.5, 1]$ である。
• 理論的分析では、対数積分関数とコンセンサス誤差のバウンドを用いて、分散最適化分野の標準的仮定の下での収束速度を導出する。
• 数値評価では、非i.i.d.データとランダムジオメトリック通信トポロジーを用いて、LeNet5とFashion-MNISTを用い、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 中央コーディネータやタイミング同期に依存せずに、完全に分散型のフェデレーテッドラーニングシステムを設計可能か？
• RQ2 エッジデバイスのリソース非均一性を考慮するために、各デバイスごとにパーソナライズドなイベントトライガー通信をどのように実現できるか？
• RQ3 標準的仮定の下で、パーソナライズドイベントトライガー通信を用いた分散型FLシステムの理論的収束速度は何か？
• RQ4 提案手法は、ディープニューラルネットワークのような非凸学習設定でも性能を維持できるか？
• RQ5 既存の分散型FLベースラインと比較して、収束速度と通信効率の点で、提案手法はどのように優れているか？

主な発見

• 標準的な分散学習およびコンセンサス文献の仮定の下で、提案手法は $\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ のグローバル収束速度を達成する。
• パーソナライズドしきい値に基づき、意味のあるモデル変更が生じた場合にのみ通信をトリガーすることで、通信オーバーヘッドが顕著に低減される。
• Fashion-MNISTにLeNet5を用いた数値評価では、凸性仮定がなくても強い性能を維持することが確認され、非凸設定におけるロバストネスが裏付けられる。
• 特にリソース制約が大きく非均一な環境において、既存の分散型FLベースラインを上回る収束速度と通信効率を達成する。
• 理論的分析により、$\theta \in (0.5, 1]$ の減少するステップサイズポリシーを用いることで収束が保証され、収束速度は $\theta$ の選択に依存することが確認された。
• コンセンサス誤差をバウンドするために対数積分関数が用いられ、非同期的かつイベントトライガー型通信の下でもきめ細かい理論的収束解析が可能になった。