[논문 리뷰] FedSN: A Federated Learning Framework over Heterogeneous LEO Satellite Networks

Lin Zheng, Zhe Chen외 4명|arXiv (Cornell University)|2023. 11. 02.

Satellite Communication Systems인용 수 4

한 줄 요약

FedSN은 계산, 메모리, 통신 이질성, 제한된 업링크 대역폭, 모델 노후화 문제를 해결하기 위해 하위 구조 기반 설계와 의사동기 모델 집합 기법을 도입한 이질적 저궤도 위성 네트워크를 위한 새로운 분산학습 프레임워크이다. 원격 감지 및 우주 변조 작업에서 최신 기술 대비 높은 정확도와 낮은 통신 및 계산 오버헤드를 달성한다.

ABSTRACT

Recently, a large number of Low Earth Orbit (LEO) satellites have been launched and deployed successfully in space by commercial companies, such as SpaceX. Due to multimodal sensors equipped by the LEO satellites, they serve not only for communication but also for various machine learning applications, such as space modulation recognition, remote sensing image classification, etc. However, the ground station (GS) may be incapable of downloading such a large volume of raw sensing data for centralized model training due to the limited contact time with LEO satellites (e.g. 5 minutes). Therefore, federated learning (FL) has emerged as the promising solution to address this problem via on-device training. Unfortunately, to enable FL on LEO satellites, we still face three critical challenges that are i) heterogeneous computing and memory capabilities, ii) limited uplink rate, and iii) model staleness. To this end, we propose FedSN as a general FL framework to tackle the above challenges, and fully explore data diversity on LEO satellites. Specifically, we first present a novel sub-structure scheme to enable heterogeneous local model training considering different computing, memory, and communication constraints on LEO satellites. Additionally, we propose a pseudo-synchronous model aggregation strategy to dynamically schedule model aggregation for compensating model staleness. To further demonstrate the effectiveness of the FedSN, we evaluate it using space modulation recognition and remote sensing image classification tasks by leveraging the data from real-world satellite networks. Extensive experimental results demonstrate that FedSN framework achieves higher accuracy, lower computing, and communication overhead than the state-of-the-art benchmarks and the effectiveness of each components in FedSN.

연구 동기 및 목표

• 제한된 지상국 접속 시간과 높은 데이터 볼륨으로 인해 LEO 위성에서 효과적인 기계학습 모델을 훈련시키는 데 도전하는 문제를 해결한다.
• 계산, 메모리, 통신 능력이 상이한 LEO 위성 간의 자원 이질성을 극복한다.
• 위성 분산학습에서 간헐적인 연결성과 이방향 업데이트로 인한 모델 노후화를 완화한다.
• 낮은 업링크 대역폭 제약 조건 하에서 모델 집합 최적화를 통해 통신 오버헤드를 감소시킨다.
• 상호위성 링크에 의존하지 않고도 다양한 위성 기수에서 효율적이고 프라이버시를 보장하는 현장 내 훈련을 가능하게 한다.

제안 방법

• 각 위성의 계산, 메모리, 통신 제약 조건에 기반해 로컬 모델 아키텍처를 맞춤화하는 하위 구조 기반 설계를 제안한다.
• 다른 능력을 지닌 위성 간의 훈련 부담을 균형 있게 분배하는 하위 구조 분배 메커니즘을 도입한다.
• 더 적게 노후화된 모델의 업데이트를 우선시함으로써 내부 그룹 내 모델 노후화를 줄이는 하위 구조 집합 전략을 활용한다.
• 모델 파라미터 차이를 기반으로 한 차별도 인식 가중치 함수를 사용해 동적으로 들어오는 업데이트를 가중치화하는 의사동기 모델 집합 전략을 설계한다.
• 버퍼 기반 집합 메커니즘을 활용해 모델 업데이트를 저장하고 스케줄링함으로써 이방향이지만 조율된 집합을 가능하게 하여 그룹 간 노후화를 감소시킨다.
• 시간과 차이도 기반 가중치를 통합해 오래된 모델과 최신 모델의 영향을 균형 있게 조절함으로써 수렴성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 계산, 메모리, 통신 능력이 이질적인 LEO 위성 간에서 분산학습을 어떻게 효과적으로 확장할 수 있는가?
• RQ2 지상국과의 접속이 간헐적이고 짧은 상황에서 LEO 위성 네트워크에서 모델 노후화를 어느 정도 줄일 수 있는가?
• RQ3 차이도 기반 모델 집합 전략이 시간 기반 노후화 보정 전략보다 위성 분산학습에서 우월한가?
• RQ4 자원 제약 조건 하에서 하위 구조 맞춤화는 훈련 효율성과 모델 정확도를 어떻게 향상시키는가?
• RQ5 의사동기 집합 전략은 실제 위성 데이터셋에서 수렴 속도와 테스트 정확도에 어떤 영향을 미치는가?

주요 결과

• FedSN은 원격 감지 이미지 분류 및 우주 변조 인식 작업 모두에서 최신 기술 기준 대비 더 높은 테스트 정확도를 달성한다.
• 하위 구조 맞춤화 및 분배 메커니즘이 이질적 위성 간의 훈련 불균형을 크게 줄이고 모델 수렴을 향상시킨다.
• GBsense 데이터셋에서 FedAsync 대비 평균 3.2% 향상, SS+FedAsync 대비 2.1% 향상된 성능을 보이며 의사동기 모델 집합 전략이 수렴 속도를 가속화하고 정확도를 향상시킨다.
• 제거 실험을 통해 하위 구조 맞춤화, 분배, 집합, 의사동기 집합 전략 각각이 성능 향상에 기여한다는 것이 확인된다.
• 위성 능력에 기반해 모델 크기와 업데이트 빈도를 최적화함으로써 통신 및 계산 오버헤드를 감소시킨다.
• 모델 집합에서 차이도 기반 가중치 함수가 위성이 장기 궤도 주기를 가지며 불규칙한 접속 창을 가질 경우 그룹 간 노후화를 효과적으로 완화한다.