[論文レビュー] Update Aware Device Scheduling for Federated Learning at the Wireless Edge

Mohammad Mohammadi Amiri, Denız Gündüz+2 more|arXiv (Cornell University)|Jan 28, 2020

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

本論文は、無線フェデレーテッドラーニングにおける更新認識型デバイススケジューリングフレームワークを提案し、チャネル状態と局所モデル更新の重要性の両方を考慮して、デバイス選択とリソース割り当てを統合最適化する。チャネル状態が良好で、更新の影響力が高いデバイスを優先することで、収束を加速し、特に1ラウンドあたり複数のデバイスをスケジューリングする必要がある非i.i.d.データ分布下でも性能が向上する。

ABSTRACT

We study federated learning (FL) at the wireless edge, where power-limited devices with local datasets collaboratively train a joint model with the help of a remote parameter server (PS). We assume that the devices are connected to the PS through a bandwidth-limited shared wireless channel. At each iteration of FL, a subset of the devices are scheduled to transmit their local model updates to the PS over orthogonal channel resources, while each participating device must compress its model update to accommodate to its link capacity. We design novel scheduling and resource allocation policies that decide on the subset of the devices to transmit at each round, and how the resources should be allocated among the participating devices, not only based on their channel conditions, but also on the significance of their local model updates. We then establish convergence of a wireless FL algorithm with device scheduling, where devices have limited capacity to convey their messages. The results of numerical experiments show that the proposed scheduling policy, based on both the channel conditions and the significance of the local model updates, provides a better long-term performance than scheduling policies based only on either of the two metrics individually. Furthermore, we observe that when the data is independent and identically distributed (i.i.d.) across devices, selecting a single device at each round provides the best performance, while when the data distribution is non-i.i.d., scheduling multiple devices at each round improves the performance. This observation is verified by the convergence result, which shows that the number of scheduled devices should increase for a less diverse and more biased data distribution.

研究の動機と目的

• 無線エッジにおけるフェデレーテッドラーニングの制限された無線帯域幅とデバイスのエネルギー制約の課題に対処すること。
• チャネル品質と更新の重要性の両方を考慮して、送信用のデバイスを知的に選択することで、モデルの収束性と学習効率を向上させること。
• データ分布の特性に応じて動的に適応するスケジューリングポリシーを設計すること、特にi.i.d.と非i.i.d.データのシナリオを区別すること。
• リソース制約下での提案された無線FLアルゴリズムに対して理論的収束保証を確立すること。

提案手法

• 提案手法は、チャネルゲインと局所モデル更新の大きさを組み合わせた複合指標に基づいて、各FLラウンドでデバイスのサブセットをスケジューリングする。
• 各選択されたデバイスが利用可能なスペクトルおよび電力制約内でモデル更新を圧縮・送信できるように、リソース割り当てを最適化する。
• 強いチャネルと高い更新重要性を持つデバイスを優先する新しいスケジューリングポリシーを策定し、信頼性と情報量の両立を図る。
• 共有の無線チャネルを介した送信が可能になるように、デバイス側で圧縮を組み込むことで、上行リンク容量制限を満たす。
• デバイスの送信容量が制限されており、確率的勾配降下法を仮定するもとで、提案アルゴリズムの理論的収束を確立する。
• データ分布の多様性に応じて、スケジュールされるデバイス数を動的に調整する。非一様または非i.i.d.データの場合は、スケジューリング数を増やす。

実験結果

リサーチクエスチョン

• RQ1 チャネル状態とモデル更新の重要性を併用することにより、無線フェデレーテッドラーニングの収束性と性能にどのような影響を与えるか？
• RQ2 i.i.d.と非i.i.d.のデータ分布の違いに応じて、1ラウンドあたり最適なスケジュールデバイス数は何か？
• RQ3 提案されたスケジューリングポリシーは、チャネル品質のみまたは更新の大きさのみに依存するポリシーと比較して、どのように差がつくか？
• RQ4 リソース制約下でのデバイス送信において、提案された無線FLアルゴリズムの理論的収束挙動はいかなるものか？
• RQ5 データ分布の多様性は、無線FLにおける効果的なデバイススケジューリングポリシーの設計にどのように影響を与えるか？

主な発見

• チャネル品質と更新の重要性を両方考慮する提案されたスケジューリングポリシーは、単一の指標に依存するポリシーと比較して、長期的なモデル性能において優れている。
• データがデバイス間でi.i.i.である場合、1ラウンドあたり1台のデバイスをスケジューリングすることで最良の性能が得られ、更新がより一様で重複が少ないためである。
• 非i.i.d.データ分布の場合は、1ラウンドあたり複数のデバイスをスケジューリングすることで、データ多様性が高まり、収束性とモデル精度が著しく向上する。
• 理論的分析により、データ分布がより偏っているか、多様性が低いほど、スケジュールされるデバイス数を増やすべきであることが確認された。
• 数値結果により、提案手法がより速い収束とより優れた一般化性能を達成することが検証された。特にエッジラーニングで一般的な現実的な非i.i.d.環境下で顕著である。