[論文レビュー] Scheduling for Cellular Federated Edge Learning with Importance and Channel Awareness

Jinke Ren, Yinghui He+4 more|arXiv (Cornell University)|Apr 1, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 4

ひとこと要約

本稿では、セルラー型フェデレーテッドエッジラーニング（FEEL）における新しい確率的スケジューリング方策を提案する。この方策は、チャネル品質と局所モデル更新の重要性（勾配発散によって測定）を同時に最適化することで、収束を加速し、学習精度を向上させる。チャネルのマルチユーザー多様性と更新の重要性の両方をバランスさせることで、単一の多様性に依存する従来のポリシーに比べ、より速いモデル収束を達成する。

ABSTRACT

In cellular federated edge learning (FEEL), multiple edge devices holding local data jointly train a neural network by communicating learning updates with an access point without exchanging their data samples. With very limited communication resources, it is beneficial to schedule the most informative local learning updates. In this paper, a novel scheduling policy is proposed to exploit both diversity in multiuser channels and diversity in the "importance" of the edge devices' learning updates. First, a new probabilistic scheduling framework is developed to yield unbiased update aggregation in FEEL. The importance of a local learning update is measured by its gradient divergence. If one edge device is scheduled in each communication round, the scheduling policy is derived in closed form to achieve the optimal trade-off between channel quality and update importance. The probabilistic scheduling framework is then extended to allow scheduling multiple edge devices in each communication round. Numerical results obtained using popular models and learning datasets demonstrate that the proposed scheduling policy can achieve faster model convergence and higher learning accuracy than conventional scheduling policies that only exploit a single type of diversity.

研究の動機と目的

• チャネル状態と更新の重要性の両方を考慮してエッジデバイスを知的にスケジューリングすることにより、セルラー型フェデレーテッドエッジラーニング（FEEL）における通信ボトルネックを解消すること。
• 従来のスケジューリングでは、すべての更新を同等に扱うという制限を克服し、モデル収束への影響に応じた優先順位を導入すること。
• 偏りのないグローバルモデルアグリゲーションを保証すると同時に、学習効率を最大化する確率的スケジューリングフレームワークを開発すること。
• 無線チャネルにおけるマルチユーザー多様性と更新の重要性の両方を共同で活用することで、より速い収束と高い精度を達成すること。

提案手法

• 確率的スケジューリングフレームワークを設計し、FEELにおける偏りのないモデルアグリゲーションを保証する。これにより、チャネル状態と勾配発散に基づいた更新選択が可能になる。
• 局所更新の重要性は、その勾配発散によって定量化され、モデル改善への寄与度を反映する。
• 1ラウンドあたり1デバイスのスケジューリングを想定した場合、閉形式の最適ポリシーを導出することで、チャネル品質と更新の重要性のバランスを最適化する。
• 複数デバイスのスケジューリングをサポートするようにフレームワークを拡張し、マルチユーザーのセルラー環境におけるスケーラブルな展開を可能にする。
• 強い凸性とリプシッツ連続性の仮定に基づいた理論的収束解析を実施し、収束速度の上限を導出する。
• 漸減する学習率ポリシーを適用して漸近的収束を保証し、再帰的期待値不等式を用いて性能の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 チャネル品質と局所更新の重要性を併用することで、セルラー型FEELにおけるスケジューリングをどのように改善できるか？
• RQ2 1デバイススケジューリングの文脈において、チャネル状態と更新の重要性の最適なトレードオフは何か？
• RQ3 提案された確率的スケジューリングフレームワークは、情報量の多い更新を優先しつつ、偏りのないグローバルモデルアグリゲーションをどのように維持するか？
• RQ4 チャネル多様性と更新の重要性の両方を活用することで、単一の多様性に依存するポリシーに比べて、どの程度の性能向上が達成可能か？
• RQ5 提案されたスケジューリングポリシーは、実際のデータセットとモデルを用いた実用的なFEEL環境でも、より速い収束と高い精度を達成できるか？

主な発見

• 提案されたスケジューリングポリシーは、チャネル品質や更新の重要性にのみ依存する従来のポリシーに比べ、より速いモデル収束と高い学習精度を達成する。
• 1デバイススケジューリングの文脈では、閉形式ポリシーがチャネルゲインと勾配発散の最適なバランスを達成し、収束速度を最大化する。
• 代表的なディープラーニングモデルとデータセットを用いた数値実験により、非独立同分布（non-IID）なデータ分布のさまざまな状況でも一貫した性能向上が確認された。
• 複数デバイススケジューリングへの拡張により、マルチユーザーのセルラー型FEEL環境でも高い学習効率とスケーラビリティが維持された。
• 理論的解析により、学習率が漸減する条件下で、収束速度が O(1/T) の上限を有することが確認された。ここで T は通信ラウンド数である。
• 数学的導出を経て、不完全なチャネル状態情報下でも、偏りのないアグリゲーションと安定した収束が保証されることを検証した。