[論文レビュー] Convergence Acceleration in Wireless Federated Learning: A Stackelberg Game Approach

Kaidi Wang, Yi Ma+4 more|arXiv (Cornell University)|Sep 14, 2022

Age of Information Optimization被引用数 6

ひとこと要約

本稿では、デバイス選択、サブチャネル割り当て、リソース割り当てを統合最適化することで、無線フェデレーテッドラーニングにおける収束速度を向上させるスタックルバーグゲームベースのフレームワークを提案する。デバイス選択をリーダーレベルのグローバル損失最小化問題、リソース割り当てをフォロワー レベルの遅延最小化問題としてモデル化することにより、従来手法と比較してより速い収束と、計算・通信時間の短縮を達成する。

ABSTRACT

This paper studies issues that arise with respect to the joint optimization for convergence time in federated learning over wireless networks (FLOWN). We consider the criterion and protocol for selection of participating devices in FLOWN under the energy constraint and derive its impact on device selection. In order to improve the training efficiency, age-of-information (AoI) enables FLOWN to assess the freshness of gradient updates among participants. Aiming to speed up convergence, we jointly investigate global loss minimization and latency minimization in a Stackelberg game based framework. Specifically, we formulate global loss minimization as a leader-level problem for reducing the number of required rounds, and latency minimization as a follower-level problem to reduce time consumption of each round. By decoupling the follower-level problem into two sub-problems, including resource allocation and sub-channel assignment, we achieve an optimal strategy of the follower through monotonic optimization and matching theory. At the leader-level, we derive an upper bound of convergence rate and subsequently reformulate the global loss minimization problem and propose a new age-of-update (AoU) based device selection algorithm. Simulation results indicate the superior performance of the proposed AoU based device selection scheme in terms of the convergence rate, as well as efficient utilization of available sub-channels.

研究の動機と目的

• 制限された時間およびエネルギー制約下で、無線フェデレーテッドラーニング（FL）におけるグローバル損失最小化と遅延のトレードオフを解消すること。
• FLの収束を加速するために、デバイス選択、サブチャネル割り当て、計算リソース割り当て、電力割り当てを統合最適化すること。
• デバイス選択がリーダーとして、リソース割り当てがフォロワーとして従う階層的意思決定プロセスをスタックルバーグゲームでモデル化すること。
• リーダーレベル問題の効率的解法を可能にするために、収束速度の上界を導出し、問題を再定式化すること。
• デバイスの寄与度を繰り返し評価することでスタックルバーグ均衡に到達するリストベースのデバイス選択アルゴリズムを開発すること。

提案手法

• デバイス選択をリーダーレベル問題として定式化し、グローバル損失を最小化する。リソース割り当て（サブチャネル、計算、電力）をフォロワー レベル問題として定式化し、遅延を最小化するスタックルバーグゲームを構築する。
• フォロワー レベル問題を2つの部分問題に分解する：リソース割り当てのための単調最適化と、サブチャネル割り当てのためのマッチングベースの手法。
• リーダーレベル問題の再定式化を可能にするために、収束速度の上界を導出する。
• デバイスの寄与度を繰り返し評価することでスタックルバーグ均衡に到達するリストベースのデバイス選択アルゴリズムを提案する。
• 年齢情報（AoI）を指標として用い、モデルの陳腐化を低減し収束を向上させるデバイス選択を支援する。
• 理論的分析を用いて期待勾配ノルムの上限を導出し、確率的デバイス選択下での収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 制限された時間およびエネルギー制約下で、無線フェデレーテッドラーニングにおけるグローバル損失を最小化するためのデバイス選択はどのように最適化できるか？
• RQ2 FLにおけるグローバル損失と遅延の最適なトレードオフは何か、そしてそれが階層的意思決定問題としてどのようにモデル化できるか？
• RQ3 各FLラウンドにおける通信および計算遅延を最小化するために、サブチャネル割り当てとリソース割り当てをどのように統合最適化できるか？
• RQ4 スタックルバーグゲームフレームワークは、デバイス選択とリソース割り当てを効果的に調整し、収束を加速できるか？
• RQ5 ランダム選択やヒューリスティック選択手法と比較して、AoIに基づくデバイス選択によりどの程度の性能向上が達成できるか？

主な発見

• 提案されたデバイス選択方式は、ランダム選択やヒューリスティック選択手法と比較して、グローバル損失の低減において顕著な優位性を示した。
• 開発された単調最適化およびマッチングベースのアルゴリズムは、サブチャネルおよび計算リソースを効率的に割り当てることで、遅延を効果的に低減した。
• シミュレーション結果から、提案フレームワークがベースライン手法と比較して、計算および通信に要する総時間消費を削減することが示された。
• リストベースのデバイス選択アルゴリズムはスタックルバーグ均衡に到達し、各ラウンドにおける安定的かつ最適なデバイス参加を保証した。
• 収束速度の理論的上界を用いることで、リーダーレベル問題の再定式化が可能となり、解法の効率性が向上した。
• AoIの統合により、モデルの新鮮さが向上し、タイムリーで影響力のある更新を優先することで、収束が加速した。