[논문 리뷰] Improving Accuracy of Federated Learning in Non-IID Settings

Mustafa Safa Özdayi, Murat Kantarcıoğlu외 1명|arXiv (Cornell University)|2020. 10. 14.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 9

한 줄 요약

이 논문은 비독립 동일 분포(Non-i.i.d.) 데이터 환경에서 피어드 학습(FL) 정확도를 향상시키기 위해 통신 없이도 구현 가능한 네 가지 경량 기법을 제안한다: 서버 측에서 작은 균형 잡힌 데이터 서브셋을 활용한 훈련, L2 노름 제약 조건을 적용한 프로젝션 기반 경사 하강법, 서버 측에서의 동량 기반 최적화, 그리고 적응형 학습률 조정. 이러한 기법들은 기준 모델 대비 평균 검증 정확도를 12퍼센트 이상 향상시키며, CIFAR-10에서 85.7%의 정확도를 달성한다—중앙집중 학습 성능과 4.7% 이내로 근접하며, 클라이언트 또는 서버의 계산 부담을 최소화한다.

ABSTRACT

Federated Learning (FL) is a decentralized machine learning protocol that allows a set of participating agents to collaboratively train a model without sharing their data. This makes FL particularly suitable for settings where data privacy is desired. However, it has been observed that the performance of FL is closely tied with the local data distributions of agents. Particularly, in settings where local data distributions vastly differ among agents, FL performs rather poorly with respect to the centralized training. To address this problem, we hypothesize the reasons behind the performance degradation, and develop some techniques to address these reasons accordingly. In this work, we identify four simple techniques that can improve the performance of trained models without incurring any additional communication overhead to FL, but rather, some light computation overhead either on the client, or the server-side. In our experimental analysis, combination of our techniques improved the validation accuracy of a model trained via FL by more than 12% with respect to our baseline. This is about 5% less than the accuracy of the model trained on centralized data.

연구 동기 및 목표

• 클라이언트 간 로컬 데이터 분포가 비독립 동일 분포일 경우 피어드 학습에서 발생하는 심각한 성능 저하 문제를 해결하기 위함.
• 특히 지역 모델 간 가설 충돌이 발생하는 원인을 규명하고, 비독립 동일 분포 FL에서의 성능 저하 메커니즘을 분석하기 위함.
• 통신 부담을 증가시키지 않고도 정확도를 향상시킬 수 있는 기법을 개발하며, 클라이언트 또는 서버에서 경량 계산만을 활용함.
• 단순하고 모듈화된 피어드 학습 훈련 파이프라인 수정만으로도 도전적인 데이터 분포 환경에서 상당한 정확도 향상을 달성할 수 있음을 입증하기 위함.

제안 방법

• 각 집계 라운드 이후 서버에 작은 균형 잡힌 데이터 서브셋(5%)을 제공하여 글로벌 모델을 서버 측에서 미세 조정하는 방식의 서버 측 훈련 도입.
• 지역 모델의 L2 노름을 제약 조건으로 설정하여 발산을 방지하고 가설 충돌을 줄이기 위해 프로젝션 기반 경사 하강법 적용.
• 모델 집계 과정에서 수렴 안정성과 수렴 속도를 향상시키기 위해 서버 측 동량 기반 최적화를 구현하며, 동량 상수(예: 0.5 또는 0.9)를 사용.
• 참여 클라이언트 수에 따라 조정되는 적응형 학습률을 서버 측에 도입하며, 임계값 기반 규칙을 활용해 업데이트 크기를 조절.
• FedAvg 프레임워크의 구조적 변경 없이 이러한 기법들을 조합하여 배치함으로써 후행 호환성과 구현 용이성을 확보.
• 표준 피어드 학습 파이프라인을 사용하며, FedAvg 집계(가중 평균) 방식을 적용하고, CIFAR-10에서 ResNet20 모델에 Fixup 초기화를 적용해 평가.

실험 결과

연구 질문

• RQ1 비독립 동일 분포 데이터 분포 하에서 피어드 학습의 성능 저하가 발생하는 주요 원인은 무엇인가?
• RQ2 클라이언트와 서버 간 통신 부담을 증가시키지 않고도 비독립 동일 분포 피어드 학습에서의 성능 향상을 달성할 수 있는가?
• RQ3 지역 모델 간의 가설 충돌이 글로벌 모델의 수렴과 정확도에 어떤 영향을 미치는가?
• RQ4 경량 서버 측 계산(예: 미세 조정, 동량, 적응형 학습률)을 통해 비독립 동일 분포 환경에서의 정확도 저하를 어느 정도 완화할 수 있는가?
• RQ5 통신 효율성을 유지하면서도 비독립 동일 분포 피어드 학습에서 최대 정확도 향상을 달성할 수 있는 기법 조합은 무엇인가?

주요 결과

• 비독립 동일 분포 데이터 설정에서의 기준 피어드 학습 성능(FL - NIID(5))은 검증 정확도 73.0%에 머물렀으며, 중앙집중 학습 성능(90.4%) 대비 17퍼센트 이상 감소한 바 있다.
• 5%의 데이터를 활용한 서버 측 훈련은 정확도를 83.7%로 향상시켜 기준 대비 10.7个百分点 향상시켰다.
• L2 노름 제약 조건을 3로 설정한 프로젝션 기반 경사 하강법은 정확도를 77.5%로 향상시켜 기준 대비 4.5个百分点 향상시켰다.
• 프로젝션 기반 경사 하강법에 가우시안 노이즈 추가(표준편차 = 1×10⁻⁴)를 조합한 경우 정확도는 79.6%로 상승하여 기준 대비 6.6个百分点 향상되었다.
• 동량 상수 0.5를 사용한 서버 측 동량 기반 최적화로 정확도는 80.9%로 상승하여 기준 대비 7.9个百分点 향상되었으며, 동량 상수 0.9로 설정한 경우 성능 저하가 발생하여 하이퍼파ram터 선택의 민감성을 보였다.
• 최적의 기법 조합(5% 서버 측 데이터, 동량 상수 0.9, 적응형 학습률)은 검증 정확도 85.7%를 달성하여 기준 대비 12.7个百分点 향상되었으며, 중앙집중 학습 성능과 4.7% 이내로 근접하였다.