[論文レビュー] FedSN: A Federated Learning Framework over Heterogeneous LEO Satellite Networks

Lin Zheng, Zhe Chen+4 more|arXiv (Cornell University)|Nov 2, 2023

Satellite Communication Systems被引用数 4

ひとこと要約

FedSNは、計算、メモリ、通信の非均質性、限られた上行帯幅、モデルの陳腐化を解決するための新しいフェデレーテッドラーニングフレームワークであり、サブ構造スキームと擬似同期的モデルアグリゲーションを用いて、低地球軌道（LEO）衛星ネットワークにおける非均質な環境に適応している。リモートセンシングおよび宇宙変調タスクにおいて、最先端の手法と比較して高い精度と低い通信および計算オーバーヘッドを達成している。

ABSTRACT

Recently, a large number of Low Earth Orbit (LEO) satellites have been launched and deployed successfully in space by commercial companies, such as SpaceX. Due to multimodal sensors equipped by the LEO satellites, they serve not only for communication but also for various machine learning applications, such as space modulation recognition, remote sensing image classification, etc. However, the ground station (GS) may be incapable of downloading such a large volume of raw sensing data for centralized model training due to the limited contact time with LEO satellites (e.g. 5 minutes). Therefore, federated learning (FL) has emerged as the promising solution to address this problem via on-device training. Unfortunately, to enable FL on LEO satellites, we still face three critical challenges that are i) heterogeneous computing and memory capabilities, ii) limited uplink rate, and iii) model staleness. To this end, we propose FedSN as a general FL framework to tackle the above challenges, and fully explore data diversity on LEO satellites. Specifically, we first present a novel sub-structure scheme to enable heterogeneous local model training considering different computing, memory, and communication constraints on LEO satellites. Additionally, we propose a pseudo-synchronous model aggregation strategy to dynamically schedule model aggregation for compensating model staleness. To further demonstrate the effectiveness of the FedSN, we evaluate it using space modulation recognition and remote sensing image classification tasks by leveraging the data from real-world satellite networks. Extensive experimental results demonstrate that FedSN framework achieves higher accuracy, lower computing, and communication overhead than the state-of-the-art benchmarks and the effectiveness of each components in FedSN.

研究の動機と目的

• 地上局との接触時間の制限と高密度のデータ量による、LEO衛星上で効果的な機械学習モデルを訓練する課題に対処する。
• 計算能力、メモリ、通信能力にばらつきがあるLEO衛星間のリソース非均質性を克服する。
• 衛星のフェデレーテッドラーニング（FL）における断続的接続と非同期更新によって引き起こされるモデルの陳腐化を軽減する。
• 低上行帯幅制約下でのモデルアグリゲーション最適化により、通信オーバーヘッドを低減する。
• 相互接続リンクに依存せず、多様な衛星コンstellation全体で効率的かつプライバシー保護型のデバイス内学習を可能にする。

提案手法

• 個々の衛星の計算、メモリ、通信制約に基づいて、ローカルモデルアーキテクチャをカスタマイズするサブ構造スキームを提案する。
• 能力に差がある衛星間でトレーニング負荷をバランスさせるサブ構造配布メカニズムを導入する。
• より陳腐でないモデルからの更新を優先することで、グループ内でのモデル陳腐化を低減するサブ構造アグリゲーション戦略を採用する。
• モデルパラメータの差異に基づく差異感知重み関数を用いて、動的に更新を重み付ける擬似同期的モデルアグリゲーション戦略を設計する。
• バッファベースのアグリゲーションメカニズムを活用して、モデル更新を格納・スケジューリングし、非同期的だが調整されたアグリゲーションを可能にすることで、グループ間の陳腐化を低減する。
• 時間的要因と差異に基づく重み付けを組み合わせ、陳腐なモデルと最新のモデルの影響をバランスさせ、収束性と汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 計算能力、メモリ、通信能力に非均質性を持つLEO衛星間で、フェデレーテッドラーニングをどのように効果的にスケーリングできるか？
• RQ2 地上局との接触が断続的かつ短時間であるLEO衛星ネットワークにおいて、どの程度モデルの陳腐化を低減できるか？
• RQ3 差異感知型モデルアグリゲーション戦略は、時間のみに基づく陳腐化補償より優れているか？
• RQ4 サブ構造カスタマイズは、リソース制約下でどのようにトレーニング効率とモデル精度を向上させるか？
• RQ5 擬似同期的アグリゲーションは、実世界の衛星データセットにおいて収束速度とテスト精度にどのような影響を与えるか？

主な発見

• FedSNは、宇宙変調認識およびリモートセンシング画像分類タスクの両方で、最先端のベンチマークを上回る高いテスト精度を達成している。
• サブ構造カスタマイズと配布メカニズムにより、非均質な衛星間でトレーニングの不均衡が顕著に低減され、モデルの収束が向上している。
• 擬似同期的モデルアグリゲーション戦略により、GBsenseデータセットにおいて、FedAsyncと比較して平均3.2%、SS+FedAsyncと比較して2.1%の精度向上が達成された。
• アブレーションスタディの結果、サブ構造カスタマイズ、配布、アグリゲーション、および擬似同期的アグリゲーションの各コンponentが、性能向上に有意義に寄与していることが確認された。
• フレームワークは、衛星の能力に応じてモデルサイズと更新頻度を最適化することで、通信および計算オーバーヘッドを低減している。
• モデルアグリゲーションにおける差異に基づく重み付け関数は、特に軌道周期が長く、接触ウィンドウが不規則な衛星において、グループ間の陳腐化を効果的に緩和している。