[논문 리뷰] FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems

Li Li, Moming Duan외 6명|arXiv (Cornell University)|2021. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 4

한 줄 요약

FedSAE는 이전 학습 성능을 바탕으로 클라이언트 워크로드를 동적으로 조정하고, 활성 학습을 통해 고가치 클라이언트를 선별하는 자기적응형 페더레이티드 러닝 프레임워크를 제안한다. 이는 이질적 환경에서 스트래글러를 크게 줄이고 글로벌 모델 정확도를 향상시킨다. 평균적으로 FedAvg 대비 26.7% 높은 테스트 정확도와 90.3% 낮은 드롭아웃률을 달성한다.

ABSTRACT

Federated Learning (FL) is a novel distributed machine learning which allows thousands of edge devices to train model locally without uploading data concentrically to the server. But since real federated settings are resource-constrained, FL is encountered with systems heterogeneity which causes a lot of stragglers directly and then leads to significantly accuracy reduction indirectly. To solve the problems caused by systems heterogeneity, we introduce a novel self-adaptive federated framework FedSAE which adjusts the training task of devices automatically and selects participants actively to alleviate the performance degradation. In this work, we 1) propose FedSAE which leverages the complete information of devices' historical training tasks to predict the affordable training workloads for each device. In this way, FedSAE can estimate the reliability of each device and self-adaptively adjust the amount of training load per client in each round. 2) combine our framework with Active Learning to self-adaptively select participants. Then the framework accelerates the convergence of the global model. In our framework, the server evaluates devices' value of training based on their training loss. Then the server selects those clients with bigger value for the global model to reduce communication overhead. The experimental result indicates that in a highly heterogeneous system, FedSAE converges faster than FedAvg, the vanilla FL framework. Furthermore, FedSAE outperforms than FedAvg on several federated datasets - FedSAE improves test accuracy by 26.7% and reduces stragglers by 90.3% on average.

연구 동기 및 목표

• 기기 자원 차이로 인한 스트래글러와 느린 수렴으로 인한 페더레이티드 러닝 성능 저하 문제를 해결한다.
• 공개된 학습 이력만을 활용하여 민감한 하드웨어 정보를 수집하지 않는 개인정보 보호 기법을 개발한다.
• 이전 학습 신뢰도와 성능을 바탕으로 각 클라이언트에 대해 자기적응형 워크로드 할당을 가능하게 한다.
• 고가치 클라이언트(낮은 손실)를 선별하여 참여시킴으로써 글로벌 모델 수렴을 가속화한다.
• 동적 클라이언트 능력을 갖춘 실세계 페더레이티드 환경에서 모델 정확도를 향상시키고 통신 오버헤드를 줄인다.

제안 방법

• 이전 학습 데이터를 기반으로 각 클라이언트의 허용 가능한 학습 워크로드를 예측하는 두 가지 자기적응형 알고리즘인 FedSAE-Ira와 FedSAE-Fassa를 제안한다.
• 과거 학습 손실과 수렴 패턴을 통합한 이동 평균 기반 워크로드 예측 모델을 사용하여 클라이언트 신뢰도를 추정한다.
• 활성 학습 기반의 동적 클라이언트 선별 메커니즘을 도입하여 서버가 더 높은 학습 가치(낮은 손실)를 가진 클라이언트를 선택함으로써 글로벌 모델 품질을 향상시킨다.
• 워크로드 예측 정확도와 적응성을 조율하기 위해 부드러운 인덱스 α = 0.95와 증분 파라미터 γ₁ = 3, γ₂ = 1을 사용한다.
• 워크로드 예측과 활성 학습을 결합하여 동시에 스트래글러를 줄이고 수렴 속도를 가속화한다.
• 비공개 기기 사양을 사용하지 않고 공개된 학습 이력만을 기반으로 하여 개인정보 보호를 보장한다.

실험 결과

연구 질문

• RQ1 비공개 하드웨어 정보에 의존하지 않고 이질적 클라이언트에 대해 동적으로 학습 워크로드를 적응적으로 조정할 수 있는 방법은 무엇인가?
• RQ2 이전 학습 성능 기반의 워크로드 예측이 페더레이티드 러닝에서 스트래글러 비율을 얼마나 줄일 수 있는가?
• RQ3 워크로드 적응과 활성 학습을 통합하면 글로벌 모델 수렴을 가속화하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 고도로 이질적인 환경에서 FedAvg에 비해 제안된 자기적응형 프레임워크는 정확도와 학습 효율성 측면에서 어떻게 비교되는가?
• RQ5 활성 학습을 클라이언트 선별 단계에 통합할 경우 수렴 속도와 최종 모델 정확도 사이의 최적의 균형은 무엇인가?

주요 결과

• FedSAE는 다양한 페더레이티드 데이터셋에서 FedAvg 대비 평균적으로 26.7% 높은 절대 테스트 정확도를 향상시켰다.
• 프레임워크는 스트래글러 비율을 평균적으로 90.3% 감소시켜 느린 클라이언트로 인한 성능 저하를 크게 완화했다.
• FedSAE-Fassa는 이전 학습 패턴을 더 효과적으로 활용함으로써 FedSAE-Ira보다 스트래글러를 96.3% 더 줄여 더 뛰어난 성능을 보였다.
• 활성 학습 통합으로 인해 평균적으로 최소 23.5% 빠른 수렴 속도를 달성했으며, FedSAE-Ira+AL200가 가장 빠른 수렴 속도를 기록했다.
• 활성 학습 사용으로 최종 정확도가 약간 감소하는 경향(이를테면 FEMNIST의 경우 최대 2.3%, MNIST의 경우 0.7%)을 보였으며, 이는 속도와 정밀도 사이의 상충 관계를 시사한다.
• FEMNIST에서 FedSAE-Ira+AL200는 48라운드 만에 60%의 테스트 정확도를 달성했으며, E=15일 때 FedAvg는 30라운드 만에 이를 달성했다. 이는 더 빠른 수렴을 의미한다.