[논문 리뷰] Federated Learning with Unbiased Gradient Aggregation and Controllable Meta Updating

Xin Yao, Tianchi Huang외 3명|arXiv (Cornell University)|2019. 10. 18.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 50

한 줄 요약

본 논문은 Unbiased Gradient Aggregation (UGA)와 controllable Meta Updating (FedMeta)를 도입하여 FedAvg를 개선하고, 그래디언트 바이어스를 줄이며 최적화를 대상 분포에 맞추고, IID 및 비 IID FL 환경에서 더 빠른 수렴과 더 높은 정확도를 보임을 보여준다.

ABSTRACT

Federated learning (FL) aims to train machine learning models in the decentralized system consisting of an enormous amount of smart edge devices. Federated averaging (FedAvg), the fundamental algorithm in FL settings, proposes on-device training and model aggregation to avoid the potential heavy communication costs and privacy concerns brought by transmitting raw data. However, through theoretical analysis we argue that 1) the multiple steps of local updating will result in gradient biases and 2) there is an inconsistency between the expected target distribution and the optimization objectives following the training paradigm in FedAvg. To tackle these problems, we first propose an unbiased gradient aggregation algorithm with the keep-trace gradient descent and the gradient evaluation strategy. Then we introduce an additional controllable meta updating procedure with a small set of data samples, indicating the expected target distribution, to provide a clear and consistent optimization objective. Both the two improvements are model- and task-agnostic and can be applied individually or together. Experimental results demonstrate that the proposed methods are faster in convergence and achieve higher accuracy with different network architectures in various FL settings.

연구 동기 및 목표

• 다수의 로컬 업데이트와 클라이언트 샘플링이 포함된 FedAvg에서 그래디언트 바이어스와 목표 함수 불일치를 식별하고 분석한다.
• 높은 계산 오버헤드 없이 편향되지 않은 하강 방향을 달성하기 위한 Unbiased Gradient Aggregation (UGA)을 제안한다.
• 정의된 목표 분포에 최적화를 맞추기 위해 메타 학습 세트로 컨트롤 가능한 메타 업데이트(FedMeta)를 도입한다.
• UGA와 FedMeta가(개별적으로 또는 함께) CNN, GRU 및 IID/비 IID FL 설정에서 수렴 속도와 정확도를 가속화함을 보인다.

제안 방법

• 로컬 단계 전반에 걸쳐 파라미터 업데이트 이력을 보존하기 위해 keep-trace 그래디언트 디센트를 개발한다.
• 초기 서버 모델에서 그래디언트를 평가하는 단계로 무편향 로컬 그래디언트(g_t^k)를 얻는다.
• 샘플링된 클라이언트들에 대한 가중 평균으로 서버에서 무편향 그래디언트를 집계한다 (g_t).
• 합산 후 글로벌 모델을 업데이트하는 소규모 메타 데이터셋 D_meta를 사용해 안정된 목적을 강제하는 메타 학습 단계인 FedMeta를 도입한다.
• FedAvg 및 UGA와의 호환성을 보여주며, 개별 방법 또는 결합(FedMeta w/ UGA)을 가능하게 한다.
• CNN, GRU, IID 및 비 IID FL 벤치마크(CIFAR-10, FEMNIST, Shakespeare)에 걸친 실험을 제공합니다.

실험 결과

연구 질문

• RQ1 FedAvg의 다수 로컬 업데이트가 그래디언트를 편향시키고 최적화를 목표 분포와 불일치하게 만드는가?
• RQ2 편향되지 않은 그래디언트 집계(UGA)가 지나치게 큰 계산 없이도 올바른 하강 방향을 달성할 수 있는가?
• RQ3 제어 가능한 메타 업데이트 절차(FedMeta)가 일관된 목표를 강제하고 성능을 개선할 수 있는가?
• RQ4 UGA와 FedMeta가 IID 및 비 IID 연합 학습 설정에서, 그리고 다양한 모델 아키텍처에서 수렴 속도와 정확도를 개선하는가?

주요 결과

Methods	E=2,B=64	E=2,B=128	E=5,B=128
FedAvg	78.57	79.27	80.45
FedProx	79.77	80.31	81.44
FedShare	81.19	81.75	81.66
FedMeta w/ UGA	81.74	82.58	83.43

• UGA는 FedAvg와 호환되는 편향되지 않은 그래디언트 집계를 제공하여, 로컬 업데이트 단계가 증가할수록 수렴 및 정확도를 향상시킵니다.
• FedMeta는 사전 정의된 메타 데이터 분포에 연합 최적화를 이끄는 제어 가능한 메타 학습 목표를 제공합니다.
• FedMeta w/ UGA는 IID 및 비 IID 설정에서 FedAvg, FedShare, FedProx를 지속적으로 상회하며, 통신 라운드의 상당한 감소를 가져옵니다.
• 아블레이션 연구에서 UGA는 초기 이득이 더 빠르고, FedMeta는 라운드 간 더 안정적인 성능을 제공하며, 많은 설정에서 FedMeta w/ UGA의 결합이 최상의 결과를 제공합니다.