[논문 리뷰] FedSpace: An Efficient Federated Learning Framework at Satellites and Ground Stations

Jinhyun So, Kevin Hsieh외 4명|arXiv (Cornell University)|2022. 02. 02.

Satellite Communication Systems인용 수 53

한 줄 요약

FedSpace는 결정적이고 시변적 연결성을 사용하여 위성과 지상국 간의 모델 집계를 스케줄링하는 최적화 기반 연합 학습 프레임워크를 제안하여 정확도를 유지하면서 학습 시간을 단축합니다.

ABSTRACT

Large-scale deployments of low Earth orbit (LEO) satellites collect massive amount of Earth imageries and sensor data, which can empower machine learning (ML) to address global challenges such as real-time disaster navigation and mitigation. However, it is often infeasible to download all the high-resolution images and train these ML models on the ground because of limited downlink bandwidth, sparse connectivity, and regularization constraints on the imagery resolution. To address these challenges, we leverage Federated Learning (FL), where ground stations and satellites collaboratively train a global ML model without sharing the captured images on the satellites. We show fundamental challenges in applying existing FL algorithms among satellites and ground stations, and we formulate an optimization problem which captures a unique trade-off between staleness and idleness. We propose a novel FL framework, named FedSpace, which dynamically schedules model aggregation based on the deterministic and time-varying connectivity according to satellite orbits. Extensive numerical evaluations based on real-world satellite images and satellite networks show that FedSpace reduces the training time by 1.7 days (38.6%) over the state-of-the-art FL algorithms.

연구 동기 및 목표

• 대규모 위성 대함대에서 데이터가 지상국으로 대량으로 다운로드되는 것을 피하기 위한 연합 학습의 동기 부여.
• 우주에서의 FL의 근본적 도전 과제 파악, 특히 위성의 무활동과 로컬 업데이트의 오래됨 사이의 trade-off.
• 모델 수렴 속도를 최대화하기 위한 집계-스케줄링 최적화 형식화 및 해결.
• 실제 위성 네트워크 및 이미징 데이터셋으로 FedSpace의 효과를 시연하여 비슷한 정확도에서 더 빠른 학습을 달성합니다.

제안 방법

• 얼치에 따라 ‘오래됨’과 ‘무활동성’에 기반한 집계 시점을 선택하는 최적화된 집계 스케줄링 형식화(방정식 11).
• 스케줄링 창 I0에서 이진 벡터 a로 집계 결정 모델링(방정식 8).
• 소스 데이터세트를 이용한 회귀를 통해 유틸리티 함수 u(s, T)를 추정하여 오래됨 s와 학습 상태 T로부터 손실 감소를 예측(방정식 12).
• 학습된 회귀 모델을 사용한 실행 가능한 집계 패턴에 대한 무작위 탐색으로 스케줄링 문제를 근사적으로 해결(방정식 13).
• 글로벌 업데이트와 기본 모델 인덱스 간 차이로 오래됨 sIk를 계산(방정식 9).
• 시뮬레이션된 연결성 모델 C_i를 사용하여 시간에 따른 위성- GS 링크를 예측(섹션 2.2).

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 결정적 위성-지상 연결성이 연합 학습 성능에 어떤 영향을 미치는가?
• RQ2 최적화 기반의 집계 스케줄러가 동기식, 비동기식, 버퍼링된 비동기식 FL과 비교하여 위성-지상 FL의 모델 수렴 속도를 개선할 수 있는가?
• RQ3 이 우주 설정에서 위성 무활동성과 지역 업데이트의 오래됨 사이의 트레이드오프는 무엇이며 이를 어떻게 최적화할 수 있는가?
• RQ4 스케줄링 창 내에서 효과적인 집계 패턴을 찾기 위해 어떤 pruning 또는 탐색 전략이 충분한가?

주요 결과

스킴	IID 일	IID 향상	Non-IID 일	Non-IID 향상
Synchronous FL	30.3	13.3×	45.8	16.5×
Asynchronous FL	-	-	-	-
FedBuff	3.2	1.4×	4.4	1.7×
FedSpace	2.3	n/a	2.7	n/a

• FedSpace는 IID 및 Non-IID 데이터 분포 전반에서 동기식 FL 및 버퍼링된 비동기식 FL에 비해 학습 시간을 최대 16.5×, 각각 1.7일의 단축으로 크게 단축합니다(표 2).
• FedSpace는 일부 비교에서 동기식 FL 대비 43.1일 빠르게 같은 목표 정확도를 달성하는 등 최첨단 FL 방법에 비해 학습 시간이 크게 감소합니다.
• FedSpace는 무활동성과 오래됨 사이의 균형을 더 잘 맞춰 무활짝 연결성을 감소시키면서도 낮은 오래됨을 유지하여 수렴 속도를 높입니다(그림 7).
• 비동질성 설정은 FedSpace의 스케줄링 접근 방식으로부터 더 큰 상대적 이점을 얻으며 IID 대비 더 큰 이득을 보입니다.
• 이 프레임워크는 결정적이고 시변적인 연결성 모델과 학습된 유틸리티 함수를 활용하여 집계 방향을 안내하며 확장 가능한 스케줄링 결정을 가능하게 합니다.