[論文レビュー] Privacy-Preserving Federated Learning for UAV-Enabled Networks: Learning-Based Joint Scheduling and Resource Management

Helin Yang, Jun Zhao+4 more|arXiv (Cornell University)|Nov 28, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 14

ひとこと要約

本稿は、UAVが支援するネットワークにおける非同期フェデレーテッドラーニング（AFL）フレームワークを提案し、生データをUAVサーバーに送信せずにデバイス上でモデルをローカルに訓練することでプライバシーを保護する。動的でリソース制限のある環境において、既存手法よりも高速な収束と高い精度を達成するため、デバイス選択、UAV配置、リソース管理を統合的に最適化するA3Cベースのアルゴリズムを採用する。

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as flying base stations (BSs) for supporting data collection, artificial intelligence (AI) model training, and wireless communications. However, due to the privacy concerns of devices and limited computation or communication resource of UAVs, it is impractical to send raw data of devices to UAV servers for model training. Moreover, due to the dynamic channel condition and heterogeneous computing capacity of devices in UAV-enabled networks, the reliability and efficiency of data sharing require to be further improved. In this paper, we develop an asynchronous federated learning (AFL) framework for multi-UAV-enabled networks, which can provide asynchronous distributed computing by enabling model training locally without transmitting raw sensitive data to UAV servers. The device selection strategy is also introduced into the AFL framework to keep the low-quality devices from affecting the learning efficiency and accuracy. Moreover, we propose an asynchronous advantage actor-critic (A3C) based joint device selection, UAVs placement, and resource management algorithm to enhance the federated convergence speed and accuracy. Simulation results demonstrate that our proposed framework and algorithm achieve higher learning accuracy and faster federated execution time compared to other existing solutions.

研究の動機と目的

• UAVサーバーに生データを送信しないことで、UAVが支援するネットワークにおけるプライバシー懸念を軽減すること。
• 異種デバイスを有する動的でリソース制限のあるUAVネットワークにおいて、学習効率と収束速度を向上させること。
• フェデレーテッドラーニングの実行時間を最小化するために、デバイス選択、UAV配置、リソース割り当てを統合的に最適化すること。
• 変動するチャネル状態とデバイスの移動性に耐えうる信頼性と耐障害性を向上させること。

提案手法

• 生データをUAVサーバーに送信する必要がないように、デバイス上でローカルにモデルを訓練できる非同期フェデレーテッドラーニング（AFL）フレームワークを開発する。
• 低品質なデバイスを除外するデバイス選択戦略を導入し、モデルの精度と学習効率を維持する。
• デバイス選択、UAV位置決め、リソース割り当てを統合的に最適化するため、非同期アドバンテージアクタークリティック（A3C）強化学習アルゴリズムを提案する。
• 状態行動価値関数 $ Q(s,a;\bm{\theta}_c) = \bm{\theta}_c^T \cdot \bm{\Psi}(s,a) $ の線形関数近似を用いて、状態行動価値を推定する。
• 最適な状態行動価値関数を近似するために、平均二乗投影ベルヌーイ誤差を最小化するクリティックネットワークを採用する。
• 複数のエージェントを統合したマルチ-UAV環境において、各UAVが共有されたグローバル状態行動価値関数の推定値を更新し、共同意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 AIモデルをモバイルデバイス間で学習させる際、UAVが支援するネットワークでプライバシーをどのように保護できるか？
• RQ2 デバイスの異種性と動的チャネル状態は、UAVネットワークにおけるフェデレーテッドラーニングの収束にどのような影響を与えるか？
• RQ3 デバイス選択、UAV配置、リソース割り当ての統合的最適化は、フェデレーテッドラーニングのパフォーマンスをどのように向上させるか？
• RQ4 マルチエージェントA3Cアプローチは、UAVとデバイスを効果的に連携させ、収束を加速させ、実行時間を短縮できるか？

主な発見

• 有効なデバイス選択とプライバシー保護型学習により、提案されたAFLフレームワークは、ベースライン手法よりも高いモデル精度を達成する。
• A3Cベースの統合最適化アルゴリズムにより、UAV配置とリソース割り当てを効率的に管理することで、フェデレーテッドラーニングの実行時間を短縮する。
• シミュレーション結果から、動的チャネル状態と変動するデバイスの移動性下でも、収束速度が速いことが示された。
• 低品質なデバイスが存在しても、デバイス選択メカニズムのおかげで高い学習精度を維持できる。
• アクタークリティックネットワークの収束解析により、A3Cアルゴリズムが高い確率で安定解に収束することが証明された。