[논문 리뷰] FedRolex: Model-Heterogeneous Federated Learning with Rolling Sub-Model Extraction

Samiul Alam, Luyang Liu외 2명|arXiv (Cornell University)|2022. 12. 03.

Privacy-Preserving Technologies in Data인용 수 44

한 줄 요약

FedRolex는 롤링 서브모델 추출을 도입하여 모델-이질적 연합학습을 가능하게 하고 글로벌 서버 모델이 어떤 클라이언트 모델보다 크게 구성되도록 하여 비공개 데이터나 보안-집계 문제 없이 포용성과 성능을 향상시킨다.

ABSTRACT

Most cross-device federated learning (FL) studies focus on the model-homogeneous setting where the global server model and local client models are identical. However, such constraint not only excludes low-end clients who would otherwise make unique contributions to model training but also restrains clients from training large models due to on-device resource bottlenecks. In this work, we propose FedRolex, a partial training (PT)-based approach that enables model-heterogeneous FL and can train a global server model larger than the largest client model. At its core, FedRolex employs a rolling sub-model extraction scheme that allows different parts of the global server model to be evenly trained, which mitigates the client drift induced by the inconsistency between individual client models and server model architectures. We show that FedRolex outperforms state-of-the-art PT-based model-heterogeneous FL methods (e.g. Federated Dropout) and reduces the gap between model-heterogeneous and model-homogeneous FL, especially under the large-model large-dataset regime. In addition, we provide theoretical statistical analysis on its advantage over Federated Dropout and evaluate FedRolex on an emulated real-world device distribution to show that FedRolex can enhance the inclusiveness of FL and boost the performance of low-end devices that would otherwise not benefit from FL. Our code is available at: https://github.com/AIoT-MLSys-Lab/FedRolex

연구 동기 및 목표

• 다양한 기기 능력을 가진 이질적인 디바이스 환경에서 연합학습의 필요성을 촉진한다.
• 대규모 글로벌 모델의 모든 부분을 고르게 학습시키기 위한 롤링 서브모델 추출 메커니즘을 제안한다.
• 공개 데이터 의존성을 제거하고 보안 집계와의 호환성을 유지한다.
• 롤링 추출이 데이터셋 전반에 걸쳐 글로벌/로컬 정확도와 포용성을 향상시킨다는 것을 보여준다.
• 최신 PT- 및 KD 기반 방법과의 이론적 및 실험적 비교를 제공한다.

제안 방법

• 글로벌 서버 모델에서 추출된 서브모델들로 모델-이질적 FL을 형식화한다.
• 각 라운드가 용량에 따라 클라이언트용 서브모델을 선택하는 롤링 윈도우 서브모델 추출 방식을 도입하여 모든 서버 매개변수가 라운드별로 고르게 학습되도록 한다.
• 클라이언트 가중치 없이 선택적 평균화를 통해 이질적 서브모드 업데이트를 집계한다.
• 글로벌 서버 모델이 최대 클라이언트 모델보다 크게 되도록 허용한다.
• 롤링 추출과 무작위(Federated Dropout) 및 정적(HeteroFL, FjORD) 추출 방식과의 이론적·실험적 분석으로 비교한다.
• 소형 모델 소형 데이터셋(CIFAR-10/100) 및 대형 모델 대형 데이터셋(Stack Overflow) 환경에서 평가한다.

실험 결과

연구 질문

• RQ1 롤링 서브모델 추출이 가장 큰 클라이언트 모델보다 큰 글로벌 서버 모델을 훈련하면서 클라이언트 드리프트를 완화할 수 있는가?
• RQ2 FedRolex와 무작위 및 정적 서브모델 추출 간의 수렴성, 정확도, 포용성 측면의 차이는 무엇인가?
• RQ3 이질적 클라이언트 능력치 및 데이터 분포하에서 FedRolex가 글로벌/로컬 정확도를 개선하는가?
• RQ4 FedRolex가 보안 집계와 호환되며 공개 데이터 요건이 없는가?
• RQ5 클라이언트 모델 이질성 분포가 성능에 미치는 영향은 무엇인가?

주요 결과

방법	높은 데이터 이질성 (CIFAR-10)	높은 데이터 이질성 (CIFAR-100)	낮은 데이터 이질성 (CIFAR-10)	낮은 데이터 이질성 (CIFAR-100)	Stack Overflow
KD-based FedDF	73.81 (±0.42)	31.87 (±0.46)	76.55 (±0.32)	37.87 (±0.31)	N/A
DS-FL	65.27 (±0.53)	29.12 (±0.51)	68.44 (±0.47)	33.56 (±0.55)	N/A
Fed-ET	78.66 (±0.31)	35.78 (±0.45)	81.13 (±0.28)	41.58 (±0.36)	N/A
HeteroFL	63.90 (±2.74)	52.38 (±0.80)	73.19 (±1.71)	57.44 (±0.42)	N/A
Federated Dropout	46.64 (±3.05)	45.07 (±0.07)	76.20 (±2.53)	46.40 (±0.21)	N/A
FedRolex	69.44 (±1.50)	56.57 (±0.15)	84.45 (±0.36)	58.73 (±0.33)	29.22 (±0.24)
Homogeneous (smallest)	38.82 (±0.88)	12.69 (±0.50)	46.86 (±0.54)	19.70 (±0.34)	27.32 (±0.12)
Homogeneous (largest)	75.74 (±0.42)	60.89 (±0.60)	84.48 (±0.58)	62.51 (±0.20)	29.79 (±0.32)

• FedRolex는 소형모델-소형데이터셋 및 대형모델-대형데이터셋 환경에서 최신 PT 기반 모델-이질적 FL 방법보다 성능이 우수하다.
• FedRolex는 대형모델-대형데이터셋 시나리오에서 특히 모델-이질적 FL과 모델-동질 FL 간의 격차를 좁힌다.
• 일부 대용량 클라이언트의 소수 참여가 FedRolex 하에서 글로벌 모델 정확도를 크게 향상시킬 수 있다.
• FedRolex는 글로벌 서버 모델이 최대 클라이언트 모델보다 크게 학습되도록 하고 글로벌 정확도에서 Federated Dropout보다 우수하다.
• 실제 기기 분포를 模拟한 설정에서 FedRolex가 포용성을 높이고 저가형 디바이스의 성능을 개선한다.