[論文レビュー] Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC

Xiang Ma, Haijian Sun+1 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Wireless Communication Technologies参考文献 15被引用数 9

ひとこと要約

本稿では、帯域制限のある無線ネットワークにおけるフェデレーテッドラーニング（FL）の通信オーバーヘッドと遅延を低減するため、非直交多重アクセス（NOMA）に基づくモバイルエッジコンピューティング（MEC）ネットワークにおける連合学習のための共同スケジューリングおよびパワー割り当て方式を提案する。ユーザーのスケジューリングを最大重み独立集合問題としてモデル化し、パワー割り当てを最適化することで、従来のTDMAおよびランダムスケジューリング手法と比較して、収束速度が向上し、テスト精度も向上し、70%の精度に達するまでの時間が10秒（TDMAでは22秒）にまで短縮された。

ABSTRACT

Federated learning (FL) is a highly pursued machine learning technique that can train a model centrally while keeping data distributed. Distributed computation makes FL attractive for bandwidth limited applications especially in wireless communications. There can be a large number of distributed edge devices connected to a central parameter server (PS) and iteratively download/upload data from/to the PS. Due to the limited bandwidth, only a subset of connected devices can be scheduled in each round. There are usually millions of parameters in the state-of-art machine learning models such as deep learning, resulting in a high computation complexity as well as a high communication burden on collecting/distributing data for training. To improve communication efficiency and make the training model converge faster, we propose a new scheduling policy and power allocation scheme using non-orthogonal multiple access (NOMA) settings to maximize the weighted sum data rate under practical constraints during the entire learning process. NOMA allows multiple users to transmit on the same channel simultaneously. The user scheduling problem is transformed into a maximum-weight independent set problem that can be solved using graph theory. Simulation results show that the proposed scheduling and power allocation scheme can help achieve a higher FL testing accuracy in NOMA based wireless networks than other existing schemes.

研究の動機と目的

• 帯域制限のある無線ネットワークにおけるフェデレーテッドラーニング（FL）の高い通信オーバーヘッドと遅延を解決すること。
• MEC環境における同時に送信可能な上行リンク伝送を活用し、NOMAを用いることでFLの収束速度とモデル精度を向上させること。
• 実用的な制約のもとでユーザーのスケジューリングとパワー割り当てを共同最適化し、重み付き和データレートを最大化すること。
• 非i.i.d.データを伴う大規模なFL展開において、トレーニング時間を短縮し、システムのスペクトル効率を向上させること。

提案手法

• サービス品質およびパワー制約のもとで、ユーザーのスケジューリングとパワー割り当て問題を重み付き和データレート最適化問題として定式化する。
• グラフ理論を用いてユーザーのスケジューリング問題を、計算効率の良い最大重み独立集合（MWIS）問題に変換する。
• グラフベースのアルゴリズムを用いて、各ラウンドにおける同時に送信可能な最適なユーザー部分集合を選択する。
• 個々のパワー制約およびSINR制約を満たすように、各ユーザーごとのパワー割り当てを最適化し、重み付き和データレートを最大化する。
• NOMA上行リンク伝送とモデル圧縮を組み合わせた修正版FedAvgアルゴリズムを採用し、通信負荷を低減する。
• 非i.i.d. MNISTデータでトレーニングされた完全結合型LeNet-300-100ニューラルネットワークを用いて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 NOMAベースのFLにおいて、ユーザーのスケジューリングとパワー割り当てをどのように共同最適化すれば、システムの和データレートを最大化できるか？
• RQ2 従来のTDMAと比較して、NOMAはFLにおける通信遅延と収束速度にどのような影響を与えるか？
• RQ3 グラフ理論的ユーザースケジューリング（MWIS）は、ランダムまたはラウンドロビンスケジューリングと比較して、FLの精度とトレーニング効率においてどのように異なるか？
• RQ4 実用的なパワー制約およびチャネル制約のもとで、パワー割り当てはFLの性能をどの程度向上させるか？

主な発見

• 提案された共同スケジューリングおよびパワー割り当て方式は、10秒で70%のテスト精度に達したのに対し、TDMAベースの方式では22秒かかった。
• 最適なスケジューリングとパワー制御を伴うNOMAベースのFLは、最大パワーでランダムスケジューリングを含む、すべてのベースライン方式を上回り、収束速度と最終的な精度の両面で優れた性能を示した。
• 同時に上行リンク伝送を可能にすることで、通信遅延が低減され、単位時間あたりのFLラウンド数が増加した。
• 最大重み独立集合の定式化により、効率的なユーザー選択が可能となり、システムのスペクトル効率とモデル収束が向上した。
• 適切なユーザースケジューリングとパワー割り当ては、モデル精度を顕著に向上させ、最適な方式では35回の通信ラウンド後に60%以上の精度を達成した。
• NOMAベースのアプローチは、送信時間をK（スケジュールされたユーザー数）分の1に削減できるため、TDMAと同等またはそれ以上の精度を達成しながら、送信時間を短縮した。