[論文レビュー] FedSpace: An Efficient Federated Learning Framework at Satellites and Ground Stations

Jinhyun So, Kevin Hsieh+4 more|arXiv (Cornell University)|Feb 2, 2022

Satellite Communication Systems被引用数 53

ひとこと要約

FedSpaceは、決定論的で時変 connectivity を用いた衛星と地上局間のモデル集約をスケジュールする最適化ベースのフェデレーテッドラーニングフレームワークを提案し、訓練時間を短縮しつつ精度を維持します。

ABSTRACT

Large-scale deployments of low Earth orbit (LEO) satellites collect massive amount of Earth imageries and sensor data, which can empower machine learning (ML) to address global challenges such as real-time disaster navigation and mitigation. However, it is often infeasible to download all the high-resolution images and train these ML models on the ground because of limited downlink bandwidth, sparse connectivity, and regularization constraints on the imagery resolution. To address these challenges, we leverage Federated Learning (FL), where ground stations and satellites collaboratively train a global ML model without sharing the captured images on the satellites. We show fundamental challenges in applying existing FL algorithms among satellites and ground stations, and we formulate an optimization problem which captures a unique trade-off between staleness and idleness. We propose a novel FL framework, named FedSpace, which dynamically schedules model aggregation based on the deterministic and time-varying connectivity according to satellite orbits. Extensive numerical evaluations based on real-world satellite images and satellite networks show that FedSpace reduces the training time by 1.7 days (38.6%) over the state-of-the-art FL algorithms.

研究の動機と目的

• 大規模衛星星座で地上局へ膨大な衛星データをダウンロードすることを避けるためのフェデレーテッドラーニングを動機づける。
• 宇宙空間でのFLの根本的な課題、特に衛星の惰性と局所更新の停滞のトレードオフを特定する。
• モデル収束速度を最大化する集約スケジューリングの最適化を定式化し解く。
• 実際の衛星ネットワークとイメージデータセットを用いてFedSpaceの有効性を示し、精度は同程度で訓練時間を短縮する。

提案手法

• 惰性と惰性の影響に基づいて集約の時期を選択する集約スケジューリング最適化を定式化する（Equation 11）。
• スケジューリングウィンドウ I0 上の二値ベクトル a として集約決定をモデル化する（Equation 8）。
• 待機時間 s と訓練状況 T からの損失削減を予測する回帰を用いて効用関数 u(s, T) を推定する（Equation 12）。
• learned regression model を用いた feasible な集約パターンのランダム探索によりスケジューリング問題を近似的に解く（Equation 13）。
• グローバル更新とベースモデルインデックスの差として惰性 sIk を計算する（Equation 9）。
• 決定論的で時変的な接続モデル C_i を用いて時間ごとの衛星-GS リンクを予測する（Section 2.2）。

実験結果

リサーチクエスチョン

• RQ1 時変かつ決定論的な衛星–地上接続性はフェデレーテッドラーニングの性能にどのように影響するか？
• RQ2 最適化ベースの集約スケジューラは、同期的・非同期的・ buffering 非同期 FL と比較して、衛星–地上 FL におけるモデル収束速度を改善できるか？
• RQ3 この宇宙環境における衛星の惰性と局所更新の停滞のトレードオフは何か、どのように最適化できるか？
• RQ4 スケジューリングウィンドウ内で効果的な集約パターンを見つけるために、どのような剪定または探索戦略が十分か？

主な発見

Scheme	IID Day	IID Gain	Non-IID Day	Non-IID Gain
Synchronous FL	30.3	13.3×	45.8	16.5×
Asynchronous FL	-	-	-	-
FedBuff	3.2	1.4×	4.4	1.7×
FedSpace	2.3	n/a	2.7	n/a

• FedSpace は IID および Non-IID データ分布において、同期 FL および buffered asynchronous FL と比較して訓練を著しく高速化し、訓練時間を最大で 16.5×短縮し、日数では 1.7 日分の短縮を達成（Table 2）。
• FedSpace は、最先端の FL 手法と比較して同等のターゲット精度を、はるかに短い訓練時間で達成する（例：同期 FL よりも 43.1 日短いなど）。
• FedSpace は惰性と停滞のバランスが良く、アイドル接続を減らしつつ停滞を低く保ち、収束を早める（Figure 7）。
• Non-IID 設定は FedSpace のスケジューリングアプローチの恩恵をより受けやすく、IID と比較して相対的な利得が大きい。
• このフレームワークは決定論的・時変的な接続モデルと学習された効用関数に依存して集約を導くため、スケーラブルなスケジューリング決定を可能にする。