[論文レビュー] Efficient Federated Meta-Learning over Multi-Access Wireless Networks

Sheng Yue, Ju Ren+4 more|arXiv (Cornell University)|Aug 14, 2021

Wireless Networks and Protocols被引用数 7

ひとこと要約

本稿では、1ラウンドあたりのグローバル損失低減を最大化することで収束を加速する非一様デバイス選択アルゴリズムであるNUFMを提案する。さらに、収束速度、ウォールクロック時間、エネルギー効率を最適化する、マルチアクセス無線ネットワーク向けの統合的デバイス選択およびリソース割り当て戦略であるURALを導入し、ベースラインと比較して最大30%低いエネルギー消費と20%速い収束を達成した。

ABSTRACT

Federated meta-learning (FML) has emerged as a promising paradigm to cope with the data limitation and heterogeneity challenges in today's edge learning arena. However, its performance is often limited by slow convergence and corresponding low communication efficiency. In addition, since the available radio spectrum and IoT devices' energy capacity are usually insufficient, it is crucial to control the resource allocation and energy consumption when deploying FML in practical wireless networks. To overcome the challenges, in this paper, we rigorously analyze each device's contribution to the global loss reduction in each round and develop an FML algorithm (called NUFM) with a non-uniform device selection scheme to accelerate the convergence. After that, we formulate a resource allocation problem integrating NUFM in multi-access wireless systems to jointly improve the convergence rate and minimize the wall-clock time along with energy cost. By deconstructing the original problem step by step, we devise a joint device selection and resource allocation strategy to solve the problem with theoretical guarantees. Further, we show that the computational complexity of NUFM can be reduced from $O(d^2)$ to $O(d)$ (with the model dimension $d$) via combining two first-order approximation techniques. Extensive simulation results demonstrate the effectiveness and superiority of the proposed methods in comparison with existing baselines.

研究の動機と目的

• 均一なデバイス選択によるフェデレーテッドメタラーニング（FML）における収束の遅さと通信効率の低さを解消する。
• マルチアクセス無線エッジネットワークにおける収束速度、ウォールクロック時間、エネルギー消費のトレードオフを解消する。
• デバイスの非均質性、チャネル状態、限られた無線リソースおよびエネルギー資源を考慮した、統合的デバイス選択およびリソース割り当て戦略を設計する。
• 1次近似技術を適用することで、収束性能を損なわずにIoTデバイスにおける計算複雑度を低減する。
• 実用的な無線FML展開における収束およびリソース割り当て最適化の理論的保証を提供する。

提案手法

• 1ラウンドあたりのグローバル損失低減のタイトな下界を導出し、これを最大化する非一様デバイス選択を可能にするNUFMを開発する。
• ウォールクロック時間とエネルギーコストを最小化するように、NUFMとCPUサイクル周波数制御およびリソースブロック（RB）割り当てを統合した統合最適化問題を定式化する。
• 元の非凸混合整数非線形プログラミング（MINLP）問題を2つの部分問題に分解する：計算時間最小化とRB／パワー割り当て最適化。
• デバイスの非均質性と計算負荷を考慮した解析的解を用いて、CPUサイクル周波数を最適化する。
• 非凸なRB割り当ておよびパワー制御部分問題を解く反復的アルゴリズムを設計し、理論的保証のもとで収束を保証する。
• 2つの1次近似技術を統合することで、NUFMの計算複雑度を$d$（モデル次元）の$O(d^2)$から$O(d)$に低減する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドメタラーニングにおけるデバイス選択をどのように最適化すれば、均一なランダム選択を上回る収束を加速できるか？
• RQ2 デバイスの非均質性、チャネル品質、リソースブロック割り当てが、無線FMLシステムにおけるウォールクロック時間およびエネルギー消費に与える影響は何か？
• RQ3 デバイス選択、CPUサイクル周波数、送信パワーの統合的最適化は、収束速度、遅延、エネルギー効率の間でより良いトレードオフを達成できるか？
• RQ4 帯域制限や悪化したチャネル状態といった、変動する無線リソース制約下で、提案手法はどのように動作するか？
• RQ5 FMLにおける収束性能を損なわずに、エッジデバイスにおける計算複雑度をどの程度低減できるか？

主な発見

• URALは、グリーディ選択法（例：NUFM-Greedy）と同等の収束速度を達成し、ベースライン手法と比較してウォールクロック時間とエネルギー消費を最大30%削減した。
• リソースブロック（RB）の数が1から50に増加してもウォールクロック時間が安定していることから、リソースの可用性に対して頑健であることが示された。
• 収束速度はRB数の増加に従って単調に減少しない。むしろ、中程度の数のデバイスを選択した際にピークを示し、情報の多様性と1ラウンドあたりの損失低減の間の最適なトレードオフが存在することを確認した。
• チャネル品質の向上（$h^{ ext{max}}$の増加）により、送信パワーとウォールクロック時間が両方とも低下し、良好なチャネル状態ではエネルギー消費が顕著に減少した。
• 重みパrameter $ heta_1$ と $ heta_2$ のチューニングにより、エネルギー消費と遅延のトレードオフを明示的に制御可能である。$ heta_1$ を大きくするとエネルギー消費は減少するがウォールクロック時間が延長され、逆も同様である。
• 提案された1次近似技術により、NUFMの計算複雑度が$d$の$O(d^2)$から$O(d)$に低減され、収束性能を損なわずにエネルギー制限のあるIoTデバイスへの実用的導入が可能になった。