[논문 리뷰] Federated Learning Based on Dynamic Regularization

Durmus Alp Emre Acar, Yue Zhao외 4명|arXiv (Cornell University)|2021. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 114

한 줄 요약

FedDyn은 연합학습에서 로컬 디바이스 최적점과 글로벌 목적 함수 사이를 정렬하기 위한 동적 정규화기를 도입하여, 이질적이고 부분적으로 참여하는 대규모 디바이스 환경에서도 Convex 및 Non-convex 설정에서 더 나은 통신 효율성과 수렴성을 달성한다.

ABSTRACT

We propose a novel federated learning method for distributively training neural network models, where the server orchestrates cooperation between a subset of randomly chosen devices in each round. We view Federated Learning problem primarily from a communication perspective and allow more device level computations to save transmission costs. We point out a fundamental dilemma, in that the minima of the local-device level empirical loss are inconsistent with those of the global empirical loss. Different from recent prior works, that either attempt inexact minimization or utilize devices for parallelizing gradient computation, we propose a dynamic regularizer for each device at each round, so that in the limit the global and device solutions are aligned. We demonstrate both through empirical results on real and synthetic data as well as analytical results that our scheme leads to efficient training, in both convex and non-convex settings, while being fully agnostic to device heterogeneity and robust to large number of devices, partial participation and unbalanced data.

연구 동기 및 목표

• 커뮤니케이션 효율성 관점에서 연합학습의 동기를 제시하고 지역적 minima와 글로벌 minima 간의 불일치를 해결한다.
• 로컬 디바이스 업데이트를 글로벌 정적점으로 이끄는 동적 정규화기를 도입한다.
• 부분 참여 및 디바이스 이질성 하에서 Convex 및 Non-convex 설정에 대한 수렴 보장을 제공한다.
• 기저선 대비 통신이 줄어든 실제 및 합성 데이터셋에서 실험적 이점을 입증한다.

제안 방법

• FedDyn 제안: 각 라운드에서 일부 디바이스가 자신의 경험 손실과 동적 정규화기를 결합한 로컬 페널티된 목표를 최적화한다.
• 동적 정규화기는 디바이스 그래디언트에 기반한 선형 항과 디바이스를 서버 모델에 연결하는 이차 항으로 구성된다.
• 디바이스 업데이트는 로컬 최적점과 글로벌 정지점 간의 정합을 점진적으로 이루는 수정된 최적성 조건을 만족한다.
• 서버는 업데이트된 디바이스 모델을 집계하고 활성 참여자를 반영하도록 글로벌 모델을 업데이트한다.
• Convex 및 Non-convex 설정에서 O(1/T) 수렴 속도와 특정 강건한 convex 경우에 선형 유사 속도를 보이는 수렴 결과를 제공한다.
• 타깃 정확도에 대해 FedAvg, FedProx, SCAFFOLD에 비해 전달 비트 수가 감소하는 것을 강조하며 통신 비용을 비교한다.

실험 결과

연구 질문

• RQ1 로컬 수준의 최적점이 글로벌 경험 손실의 정지점으로 수렴되도록 동적으로 업데이트되는 정규화기가 보장할 수 있는가?
• RQ2 부분 참여와 이질적 데이터에서 FedDyn으로 얻을 수 있는 수렴 속도(Convex 및 Non-convex)는 어떠한가?
• RQ3 IID, 비 IID, 고도로 분산된 설정에서 기존 FL 방법들과 비교하여 FedDyn의 통신 효율성은 어떤가?
• RQ4 장치 이질성, 부분 참여, 비대칭 로컬 데이터에도 불구하고 FedDyn이 성능을 유지하며 견고한가?
• RQ5 표준 벤치마크(MNIST, EMNIST, CIFAR-10/100, Shakespeare)에 대한 실험 결과가 이론적 수렴 주장들을 뒷받침하는가?

주요 결과

• FedDyn은 Convex 및 Non-convex 설정에서 라운드 수로 글로벌 손실의 정지점으로 수렴하며 속도는 O(1/T)이다.
• 볼록 매끄러운 로컬 손실과 디바이스 수 m, 매 라운드의 활성 디바이스 수 P에 대해 평균 손실은 balanced data 하에서 O(1/T) sqrt(m/P)로 확장되며, SCAFFOLD와 같은 기존 방법에 비해 개선된다.
• 비-볼록 매끄러운 설정에서 FedDyn은 기댓값으로 그래디언트 노름에 대해 O(1/T) (m/P) 속도에 도달한다.
• MNIST, EMNIST, CIFAR-10/100, Shakespeare에 대한 실험 결과는 다양한 참여 및 이질성 하에서 FedAvg, FedProx, SCAFFOLD에 비해 상당한 통신 절감을 보여준다.
• FedDyn은 경쟁 접근법과 유사한 오버헤드를 필요로 하지만 더 빠르게 수렴하고, 하이퍼파라미터 튜닝과 부분 참여, 큰 디바이스 수 및 데이터 이질성에 대한 강건성 측면에서 더 우수하다.