[논문 리뷰] Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data

Qianqian Tong, Guannan Liang외 1명|arXiv (Cornell University)|2020. 09. 14.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 14

한 줄 요약

이 논문은 비독립 동일 분포(non-IID) 및 균형 잡히지 않은 분산된 데이터 환경에서 성능 저하 문제를 해결하기 위해 캘리브레이션된 학습률을 갖춘 연합 적응 경사하강법(AGMs)의 가족을 제안한다. 비볼록 최적화 하에서 최초의 이론적 수렴성을 제시하며, s-FedAdam과 같은 캘리브레이션된 AGMs가 부분적 장치 참여 조건 하에서도 부분선형 수렴 속도를 달성함을 보여준다.

ABSTRACT

Federated learning allows loads of edge computing devices to collaboratively learn a global model without data sharing. The analysis with partial device participation under non-IID and unbalanced data reflects more reality. In this work, we propose federated learning versions of adaptive gradient methods - Federated AGMs - which employ both the first-order and second-order momenta, to alleviate generalization performance deterioration caused by dissimilarity of data population among devices. To further improve the test performance, we compare several schemes of calibration for the adaptive learning rate, including the standard Adam calibrated by $ε$, $p$-Adam, and one calibrated by an activation function. Our analysis provides the first set of theoretical results that the proposed (calibrated) Federated AGMs converge to a first-order stationary point under non-IID and unbalanced data settings for nonconvex optimization. We perform extensive experiments to compare these federated learning methods with the state-of-the-art FedAvg, FedMomentum and SCAFFOLD and to assess the different calibration schemes and the advantages of AGMs over the current federated learning methods.

연구 동기 및 목표

• 연합 학습에서 데이터의 비독립 동일 분포성(non-IIDness)과 균형 잡히지 않은 분포로 인한 일반화 성능 저하 문제를 해결하기 위해.
• 부분적 장치 참여와 비독립 동일 분포 데이터 조건 하에서 연합 적응 경사하강법의 이론적 기반을 마련하기 위해.
• ε, p, 활성화 기반 방법을 포함한 다양한 캘리브레이션 전략을 비교하기 위해.
• 실제 연합 학습 환경 조건 하에서 일阶 및 이阶 모멘텀을 모두 갖춘 연합 AGMs의 수렴성을 입증하기 위해.

제안 방법

• 캘리브레이션된 학습률을 갖춘 연합 적응 경사하강법(AGMs)의 가족, 즉 FedAdam과 FedAMSGrad를 도입한다.
• 소프트플러스 함수를 사용한 새로운 캘리브레이션 전략을 도입하여 적응 학습률의 안정성을 높이며, 이를 s-FedAdam으로 명명한다.
• 각 클라이언트가 서버에 업데이트를 전송하기 전에 국소적으로 최적화하는 내부 반복 횟수 K를 갖는 국소 업데이트 규칙을 사용한다.
• 클라이언트 가중치 $ p_i $ 를 사용하는 서버 측 평균화 규칙을 적용하여, 비독립 동일 분포 및 균형 잡히지 않은 데이터 조건 하에서도 수렴을 보장한다.
• 이론적 분석은 L-스무쓰니스, 유한한 기울기, 캘리브레이션된 모멘텀 항을 통한 분산 제어에 기반한다.
• 기울기 노름 감쇠 및 분산 항에 대한 보조정리를 통해 유도된 수렴 경계를 통해 부분선형 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 캘리브레이션된 학습률을 갖춘 연합 적응 경사하강법이 비독립 동일 분포 및 균형 잡히지 않은 데이터 분포 조건 하에서도 수렴할 수 있는가?
• RQ2 다양한 캘리브레이션 전략(ε, p, 소프트플러스)이 연합 AGMs의 수렴성과 일반화 성능에 어떤 영향을 미치는가?
• RQ3 부분적 장치 참여 조건 하에서 일阶 및 이阶 모멘텀을 모두 갖춘 연합 AGMs의 이론적 수렴 속도는 무엇인가?
• RQ4 비볼록 환경에서 s-FedAdam은 ε-FedAdam과 p-FedAdam에 비해 수렴 속도에서 어떻게 비교되는가?

주요 결과

• 제안된 s-FedAdam 방법은 $ O\left(\sqrt{\frac{\beta(1+1/S)^{3/2}}{T}} + \frac{K\sigma_g^2}{T} + \sqrt{\frac{\beta^3(1+1/S)^{5/2}}{K^2T}} \right) $ 의 부분선형 수렴 속도를 달성하며, 이는 첫째 단계 정류점으로의 수렴을 증명한다.
• 이론적 분석은 비독립 동일 분포 및 균형 잡히지 않은 데이터 조건 하에서 부분적 장치 참여 조건 하에서도 캘리브레이션된 연합 AGMs의 수렴성을 확인한다.
• 소프트플러스 함수를 통한 개선된 캘리브레이션 덕분에 s-FedAdam은 ε-FedAdam과 p-FedAdam보다 잠재적으로 더 좋은 수렴 속도를 보인다.
• 실험 결과는 비독립 동일 분포 수준이 높을수록 특히 초기 학습 단계에서 FedAvg, FedMomentum, SCAFFOLD에 비해 연합 AGMs가 더 뛰어난 성능을 보임을 보여준다.
• 수렴 속도는 캘리브레이션 파라미터에 민감하며, $ K\gamma_t < \min\{\frac{1}{8L}, \sqrt{\frac{\mu_5}{10\mu_6}}\} $ 일 때 최적의 성능를 발휘한다.