[論文レビュー] Decentralized Model Dissemination Empowered Federated Learning in mmWave Aerial-Terrestrial Integrated Networks

Mohammed S. Al-Abiad, Md. Zoheb Hassan+1 more|arXiv (Cornell University)|Feb 28, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、UAV間通信およびデバイス間通信（D2D）を介してUAVをローカル集約装置として用いることで、中央パrameterサーバーを不要にする、mmWave空中・地上統合ネットワーク向けの分散型フェデレーテッドラーニングフレームワーク、FedMoDを提案する。この手法は、最適化された無線リソース管理と視線（LOS）および非視線（non-LOS）ユーザーのグラフベーススケジューリングにより、集中型FLと同等の収束性能を達成すると同時に、エネルギー消費を顕著に削減する。

ABSTRACT

It is anticipated that aerial-terrestrial integrated networks incorporating unmanned aerial vehicles (UAVs) mounted relays will offer improved coverage and connectivity in the beyond 5G era. Meanwhile, federated learning (FL) is a promising distributed machine learning technique for building inference models over wireless networks due to its ability to maintain user privacy and reduce communication overhead. However, off-the-shelf FL models aggregate global parameters at a central parameter server (CPS), increasing energy consumption and latency, as well as inefficiently utilizing radio resource blocks (RRBs) for distributed user devices (UDs). This paper presents a resource-efficient FL framework, called FedMoD ( extbf{fed}erated learning with extbf{mo}del extbf{d}issemination), for millimeter-wave (mmWave) aerial-terrestrial integrated networks with the following two unique characteristics. Firstly, FedMoD presents a novel decentralized model dissemination algorithm that makes use of UAVs as local model aggregators through UAV-to-UAV and device-to-device (D2D) communications. As a result, FedMoD (i) increases the number of participant UDs in developing FL model and (ii) achieves global model aggregation without involving CPS. Secondly, FedMoD reduces the energy consumption of FL using radio resource management (RRM) under the constraints of over-the-air learning latency. In order to achieve this, by leveraging graph theory, FedMoD optimizes the scheduling of line-of-sight (LOS) UDs to suitable UAVs/RRBs over mmWave links and non-LOS UDs to available LOS UDs via overlay D2D communications. Extensive simulations reveal that decentralized FedMoD offers same convergence rate performance as compared to conventional FL frameworks.

研究の動機と目的

• 従来のフェデレーテッドラーニング（FL）におけるmmWave空中・地上統合ネットワーク（ATINs）において、中央パrameterサーバー（CPS）に起因する高いエネルギー消費と遅延を是正すること。
• CPSに依存せずにグローバルなFLモデル集約を実現するため、UAVを分散型ローカル集約装置として活用すること。
• 空中通信遅延制約下での効率的な無線リソース管理（RRM）により、FLにおけるエネルギー消費を最小限に抑えること。
• グラフ理論を用いて、UAVおよび無線リソースブロック（RRB）への視線（LOS）および非視線（non-LOS）ユーザー装置（UDs）のスケジューリングを最適化すること。
• UAVネットワークトポロジーと情報拡散周波数がFLの収束性およびエネルギー効率に与える影響を評価すること。

提案手法

• UAVがUAV間通信およびD2D通信を用いてローカルFL集約装置として機能する分散型モデル配布アルゴリズムを提案し、中央パrameterサーバーが不要なグローバルモデル集約を実現する。
• 視線（LOS）UDsを最適なUAVおよびRRBにスケジューリングするレート適応型無線リソース管理（RRM）方式を採用し、非視線（non-LOS）UDsはオーバーレイD2D通信によりLOS UDsに接続する。
• グラフ理論を用いて、UDsからUAVおよびRRBへのスケジューリングをモデル化・最適化し、mmWaveスケジューリングの効率的利用と干渉の低減を実現する。
• UAV間での完全モデル交換頻度を制御するパラメータαを導入した部分的配布メカニズムを提案し、収束性とエネルギー効率のバランスを図る。
• チャネル品質およびネットワークトポロジーに基づき、UDsをUAVおよびRRBにマッチングする分散型RRM方式を構築し、競合とエネルギー消費を低減する。
• 理論的収束解析を提供し、提案されたRRMおよび配布戦略下で、FedMoDが集中型FLと同等の収束速度を維持することを証明する。

Figure 1 : ATIN network with one CPS, $3$ UAVs, $9$ UDs, and a set of RRBs per each UAV. For instance, UDs $1$ , $3$ , $5$ , and $7$ do not have direct LOS links to the UAVs. Thus, they transmit the trained local models to the UAVs via LOS UDs, e.g., UDs $2$ , $4$ , and $6$ . UDs $8$ and $9$ can tra

実験結果

リサーチクエスチョン

• RQ1 mmWave空中・地上統合ネットワークにおいて、中央パrameterサーバーが存在しない分散型FLで、グローバルなFLモデル集約をどのように達成できるか？
• RQ2 UAVネットワークトポロジーは、分散型FLの収束性能およびエネルギー効率にどのような影響を与えるか？
• RQ3 UAV間のモデル拡散頻度（αで制御）は、学習精度および収束安定性にどのように影響するか？
• RQ4 大規模ATINsにおいて、分散型RRM方式は集中型RRM方式と同等のエネルギー効率を達成できるか？
• RQ5 非視線UDsと視線UDs間のD2D通信は、システムスルーレットをどれほど向上させ、エネルギー消費をどれほど低減できるか？

主な発見

• FedMoDは、従来の集中型FLと同等の収束速度およびテスト精度を達成し、完全拡散（α=1）条件下でMNISTのテスト精度が0.966、CIFAR-10が0.668を記録する。
• 完全拡散が不規則（α=2または3）になると、モデル平均化が不十分なため、MNISTとCIFAR-10のテスト精度がそれぞれ0.66および0.52に著しく低下する。
• 完全接続型UAVネットワークトポロジーは、部分接続型トポロジーに比べて高いテスト精度を達成するが、α > 4のとき、後者は完全接続性能に近づく。
• 提案された分散型RRM方式は、中央集権型RRM方式と同等のエネルギー消費性能を達成するが、特にUD数が増加するにつれて顕著になる。これは、スケジューリング競合が低減されるためである。
• ランダムRRMスケジューリングは、最も高いエネルギー消費を示し、FLシステムにおける最適化されていないリソース割り当ての非効率性を裏付ける。
• FedMoDの平均エネルギー消費は、全テスト手法の中で最小であり、提案されたRRMおよび拡散戦略の有効性を示している。

Figure 2 : Transmission time structure for LOS UDs and non-LOS UDs for the $t$ -th global iteration.