[論文レビュー] Sim-to-Real Transfer in Multi-agent Reinforcement Networking for Federated Edge Computing

Pinyarash Pinyoanuntapong, Tagore Pothuneedi+4 more|arXiv (Cornell University)|Oct 18, 2021

IoT and Edge/Fog Computing参考文献 6被引用数 5

ひとこと要約

本稿では、マルチホップ無線ネットワークにおけるマルチエージェント強化学習（MA-RL）最適化フェデレーテッドエッジコンピューティングのための高精度なLinuxベースのシミュレータ「FedEdgeシミュレータ」を提案する。トレースベースの物理層エミュレーションと動的リンクスケジューリングを統合することで、シミュレーションと実際のテストベッドの間でほぼ同一の性能を達成し、最小限のリアリティギャップで効果的なシミュレーションから実世界への知識移転を可能にした。これは、環境間で同一の損失収束とウォールクロック時間を通じて検証された。

ABSTRACT

Federated Learning (FL) over wireless multi-hop edge computing networks, i.e., multi-hop FL, is a cost-effective distributed on-device deep learning paradigm. This paper presents FedEdge simulator, a high-fidelity Linux-based simulator, which enables fast prototyping, sim-to-real code, and knowledge transfer for multi-hop FL systems. FedEdge simulator is built on top of the hardware-oriented FedEdge experimental framework with a new extension of the realistic physical layer emulator. This emulator exploits trace-based channel modeling and dynamic link scheduling to minimize the reality gap between the simulator and the physical testbed. Our initial experiments demonstrate the high fidelity of the FedEdge simulator and its superior performance on sim-to-real knowledge transfer in reinforcement learning-optimized multi-hop FL.

研究の動機と目的

• マルチエージェント強化学習（MA-RL）を用いたフェデレーテッドエッジコンピューティングにおけるシミュレーションと実世界のデプロイメントの間のリアリティギャップを解消すること。
• スケーラブルで高精度なシミュレーション環境を構築し、マルチホップ無線FLシステムのRLポリシーの迅速なプロトタイピングと効率的なトレーニングを可能にすること。
• シミュレートされたネットワーク行動と物理的ネットワーク行動の差異を最小限に抑えることで、信頼性の高いシミュレーションから実世界への知識移転を実現すること。
• シミュレーションと実際のテストベッドの間でのFL収束とトレーニング時間の直接比較を通じて、シミュレータの正確性を検証すること。
• 現実的な無線マルチホップネットワーク環境下での、MA-RL最適化FLルーティングのコスト効率が高く大規模な実験を可能にすること。

提案手法

• FedEdgeシミュレータは、ハードウェア指向のFedEdge実験フレームワークに基づき、実世界のRSSIトレースの再再生に基づく拡張型物理層エミュレータを備えている。
• 物理層エミュレータはトレースベースのチャネルモデリングと動的リンクスケジューリングを用い、信号対雑音比やリンク帯域幅を含むリアルタイムの無線状態を反映する。
• リンクスケジューリングは、20MHzチャネル用の802.11ac MCSインデックステーブルを用いて、受信信号強度インジケータ（RSSI）を伝送レートにマッピングする。
• マルチエージェント強化学習（MA-RL）を用いて、ネットワーク起因の遅延を最小限に抑えるためのFLトラフィック転送経路を最適化する。
• ポリシーの凍結を可能にすることで、シミュレーションから物理的テストベッドへのQテーブルの転送を実現し、オンラインRLトレーニングと知識移転をサポートする。
• FEMNISTベンチマークデータセットにおけるFLトレーニングには、2層の畳み込み層、マックスプーリング、128ユニットの全結合層を備えたCNNモデルが使用される。

実験結果

リサーチクエスチョン

• RQ1 FedEdgeシミュレータは、損失収束とウォールクロック時間の観点から、実際のFLトレーニング性能をどの程度再現しているか？
• RQ2 事前にトレーニングされたMA-RLポリシーのシミュレーションから実世界への知識移転は、物理的テストベッドにおけるトレーニング時間の短縮と収束の改善にどの程度効果的か？
• RQ3 物理層の正確性、特にトレースベースのチャネルモデリングと動的スケジューリングが、フェデレーテッドエッジコンピューティングのマルチエージェントRLにおけるリアリティギャップを最小限に抑える影響は何か？
• RQ4 シミュレーションにおけるオンラインRLトレーニングの性能は、物理的テストベッドにおけるオンラインおよびターゲットテストと比べてどの程度か？
• RQ5 このシミュレータは、マルチホップ無線ネットワーク環境下で、信頼性がありスケーラブルかつ効率的なMA-RL最適化FLシステムのプロトタイピングをサポートできるか？

主な発見

• 20エポックのFLトレーニングにおいて、最短経路ルーティングを用いた場合、シミュレーションと物理的テストベッドの両方で損失収束がほぼ同一であり、シミュレーションの高精度性を確認した。
• 50エポック後のFLトレーニングにおけるウォールクロック時間の差は、シミュレーションのオンラインRLトレーニングと物理的テストベッドとの間でわずか2分にとどまり、時間的差異が最小限であることを示した。
• MA-RLベースのルーティングにおいて、グローバルラウンドの観点でのイタレーション損失収束が、シミュレーションとテストベッドで同一であり、ポリシー移転の有効性を示した。
• シミュレーションとテストベッド両方の実験で、1ラウンドあたりの時間は一貫して72〜80秒程度であり、ハードウェアオーバーヘッドが少ないため、シミュレータがわずかに速い。
• 50ラウンドにわたる平均ラウンド時間は、すべてのアプローチで低分散かつ一貫性があり、シミュレータの信頼性を裏付けた。
• Qテーブルを凍結した状態で物理的テストベッドでのターゲットテストを実施したが、動的トラフィックパターンへの適応性に欠けるため、オンライントレーニングよりわずかに性能が劣ったが、ギャップは限定的であり、事前にトレーニングされたポリシーの価値を確認した。