[논문 리뷰] Communication-Efficient ADMM-based Federated Learning

Shenglong Zhou, Geoffrey Ye Li|arXiv (Cornell University)|2021. 10. 28.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 16

한 줄 요약

이 논문은 전역 집계 간에 다수의 국소 업데이트를 수행함으로써 통신 라운드 수를 줄이는 통신 효율적인 ADMM 기반 분산 학습 알고리즘인 CEADMM와 ICEADMM를 제안한다. 두 알고리즘 모두 엄격한 조건 없이 선형 수렴성을 확보한다—즉, 데이터의 i.i.d. 가정이나 강凸성 조건이 필요하지 않다. 또한 ICEADMM는 비정확한 업데이트를 통해 계산 비용을 추가로 줄이며 정확도를 유지한다.

ABSTRACT

Federated learning has shown its advances over the last few years but is facing many challenges, such as how algorithms save communication resources, how they reduce computational costs, and whether they converge. To address these issues, this paper proposes exact and inexact ADMM-based federated learning. They are not only communication-efficient but also converge linearly under very mild conditions, such as convexity-free and irrelevance to data distributions. Moreover, the inexact version has low computational complexity, thereby alleviating the computational burdens significantly.

연구 동기 및 목표

• 전역 집계 라운드 수를 줄임으로써 분산 학습에서 높은 통신 오버헤드 문제를 해결한다.
• 모델 정확도를 유지하면서 분산 학습의 계산 복잡도를 감소시킨다.
• 최소한의 가정, 예를 들어 볼록성 없음 및 데이터 분포 독립성 하에서도 전역 수렴을 선형 속도로 확보한다.
• 수렴성과 정확도를 훼손하지 않고 학습을 가속화하는 비정확한 변종을 개발한다.

제안 방법

• 전역 집계 사이에 $k_0$회의 국소 반복을 수행하는 정확한 ADMM 기반 분산 학습 알고리즘인 CEADMM를 제안하여 통신 횟수를 줄인다.
• ADMM의 하위문제 해를 근사화하는 비정확한 변종인 ICEADMM를 설계하여 반복당 계산 비용을 크게 낮춘다.
• 대규모 비중앙집중형 학습 환경에서의 확장성과 효율성을 향상시키기 위해 선형화된 비정확한 ADMM 프레임워크를 도입한다.
• 로컬 클라이언트가 원래 변수와 이중 변수를 모두 업데이트하고, 중앙 서버가 결과를 주기적으로 집계하는 이중 분해 접근 방식을 사용한다.
• 최적화 문제를 공통 형태로 제시하여 수렴 보장을 유지하면서 분산 계산을 가능하게 한다.
• 기본 분산 학습과 선형화된 비정확한 ADMM 간의 관계를 활용하여, 분산 학습이 제안된 프레임워크의 특수한 경우임을 보여준다.

실험 결과

연구 질문

• RQ1 ADMM 기반 분산 학습이 데이터의 i.i.d. 가정이나 강凸성 조건 없이도 선형 수렴성을 달성할 수 있는가?
• RQ2 전역 집계 간 국소 반복 수($k_0$)를 늘일 경우 통신 효율성과 수렴 특성에 어떤 영향을 미치는가?
• RQ3 ADMM에서 비정확한 업데이트가 수렴성이나 모델 정확도를 떨어뜨리지 않고 계산 비용을 줄일 수 있는가?
• RQ4 ADMM 기반 분산 학습에서 통신 효율성, 계산 비용, 수렴 속도 사이의 상충 관계는 어떠한가?

주요 결과

• CEADMM는 볼록성 없음 및 데이터 분포 독립성과 같은 온건한 조건 하에서 정류점으로의 선형 수렴성을 확보한다.
• $k_0$를 늘일수록 통신 횟수가 감소한다—예를 들어 $m=30$명의 클라이언트에서 $k_0 = 20$일 경우, ICEADMM는 IADMM의 약 ~118회의 전역 집계를 ~20회로 줄였다.
• ICEADMM는 CEADMM와 동일한 수렴 정확도를 유지하면서 비정확한 하위문제 해를 통해 반복당 계산 시간을 줄였다.
• 같은 $k_0$ 조건에서 ICEADMM는 CEADMM보다 더 많은 반복 수가 필요하다 (예: $k_0=10$일 경우 240회 대비 100회), 하지만 반복당 비용이 낮아 전체 학습 속도는 더 빠르게 유지된다.
• CEADMM의 수렴 속도는 $O(k_0/k)$이며, 이는 $k_0$가 클수록 반복당 수렴 속도는 느려지지만 통신 비용은 극적으로 감소함을 시사한다.
• 실험 결과는 클라이언트 수 $m$이 클수록 수렴에 필요한 반복 수가 감소함을 보여주며, 확장성 향상을 입증한다.