[논문 리뷰] Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM

Chaouki Ben Issaid, Anis Elgabli외 3명|arXiv (Cornell University)|2020. 09. 14.

Distributed Control Multi-Agent Systems참고 문헌 28인용 수 13

한 줄 요약

이 논문은 링크 감시 및 확률적 양자화를 일반화된 그룹 ADMM 아키텍처 내에 통합한 통신 효율적인 탈중앙화 기계학습 프레임워크인 Censored and Quantized Generalized Group ADMM (CQ-GGADMM)를 제안한다. 강凸 목적 함수에 대해 선형 수렴을 달성하며 정확도나 속도를 희생시키지 않고 통신 라운드 수와 에너지 소비를 크게 감소시킨다. 이는 일반화된 네트워크 구조에서 기존의 감시 및 양자화된 탈중앙화 방법들을 능가한다.

ABSTRACT

In this paper, we propose a communication-efficiently decentralized machine learning framework that solves a consensus optimization problem defined over a network of inter-connected workers. The proposed algorithm, Censored and Quantized Generalized GADMM (CQ-GGADMM), leverages the worker grouping and decentralized learning ideas of Group Alternating Direction Method of Multipliers (GADMM), and pushes the frontier in communication efficiency by extending its applicability to generalized network topologies, while incorporating link censoring for negligible updates after quantization. We theoretically prove that CQ-GGADMM achieves the linear convergence rate when the local objective functions are strongly convex under some mild assumptions. Numerical simulations corroborate that CQ-GGADMM exhibits higher communication efficiency in terms of the number of communication rounds and transmit energy consumption without compromising the accuracy and convergence speed, compared to the censored decentralized ADMM, and the worker grouping method of GADMM.

연구 동기 및 목표

• 엣지 디바이스 간 빈번한 매개변수 교환으로 인한 탈중앙화 기계학습의 높은 통신 오버헤드 문제를 해결하기 위해.
• 중앙 집중형 페더레이티드 러닝의 단일 장애 지점 및 개인정보 우려 등의 한계를 극복하기 위해.
• 일반화된 그룹 ADMM 프레임워크에 감시 및 양자화를 통합하여 통신 효율성을 향상시키기 위해.
• 강凸성 조건 하에서 선형 수렴을 보장하면서도 임의의 이분할 네트워크 구조를 지원하기 위해.
• 모델 정확도나 수렴 속도를 떨어뜨리지 않고 통신 라운드 수와 링크당 전송 패킷 크기를 줄이기 위해.

제안 방법

• CQ-GGADMM는 그래프가 이분할이면서 연결되어 있는 조건 하에 각 워커가 임의의 수의 이웃과 연결될 수 있도록 하여, 그룹 ADMM(GADMM)를 일반화된 네트워크 구조로 확장한다.
• 모델 업데이트가 무시할 만큼 미미하다고 판단되는 경우를 스킵하는 감시 메커니즘을 도입하여, 라운드당 활성 통신 링크 수를 줄인다.
• 각 매개변수당 비트 수를 줄여 패킷 크기를 최소화하기 위해 이질적인 확률적 양자화 기법을 적용한다.
• 헤드 그룹과 테일 그룹의 워커들을 병렬로 갱신하는 방식으로 알고리즘을 운영하며, ADMM 프레임워크를 활용해 공통 최적화 문제를 해결한다.
• 이론적 분석은 강凸성과 온건한 가정 하에서 선형 수렴를 확립하기 위해 파rameter $\rho$, $\kappa$, 및 $\psi$를 포함한 리아푸노프 함수를 사용한다.
• 수렴 증명은 시스템 행렬의 스펙트럼 노름을 통해 오차 항을 경계하고, $\rho$에 대한 이차형식의 양성 보장을 통해 이루어진다.

실험 결과

연구 질문

• RQ1 체인 구조를 초월한 일반화된 네트워크 구조를 지원하는 탈중앙화 학습 프레임워크가 강凸 목적 함수에서 선형 수렴를 달성할 수 있는가?
• RQ2 감시와 양자화를 병합함으로써 탈중앙화 ADMM의 수렴성과 통신 효율성에 어떤 영향을 미치는가?
• RQ3 감시 및 양자화 노이즈 존재 하에서 선형 수렴를 보장하기 위한 펜alty 파rameter $\rho$ 및 오차 경계의 조건은 무엇인가?
• RQ4 모델 정확도를 떨어뜨리지 않고 통신 라운드 수와 에너지 소비를 얼마나 줄일 수 있는가?
• RQ5 수렴 속도와 통신 비용 측면에서 CQ-GGADMM는 감시된 탈중앙화 ADMM 및 표준 GADMM에 비해 어떻게 비교되는가?

주요 결과

• CQ-GGADMM는 온건한 가정 하에 강凸 지역 목적 함수에 대해 선형 수렴를 달성하며, 수렴 속도는 $ (1 + \delta_2)/2 $이다. 여기서 $ \delta_2 = \max\{(1+\kappa)^{-1}, \psi^2\} $이다.
• 알고리즘은 $ \rho $를 선택하여 이차부등식 $ -[(b_2 + a\kappa) + (1+\kappa)(b_1 + a\kappa)]\rho^2 + \mu\rho - c\kappa \geq 0 $ 가 성립하도록 하여 최적성 갭의 감소를 보장한다. 이는 $ \kappa < \bar{\kappa} $ 일 때 가능하다.
• 수치 시뮬레이션 결과 CQ-GGADMM가 감시된 탈중앙화 ADMM 및 표준 GADMM에 비해 통신 라운드 수와 전송 에너지 소비를 모두 감소시킴을 확인하였다.
• 감시 및 양자화를 통해 극단적으로 압축된 통신에도 불구하고, 높은 모델 정확도와 빠른 수렴 속도를 유지한다.
• 이론적 분석은 감시 및 양자화로 인한 오차 항이 유계이며, 판별식 $ \Delta > 0 $ 로 정의된 타당 영역 내에서 $ \rho $ 를 선택할 경우 선형 수렴를 방해하지 않는다는 것을 증명하였다.
• 이 방법은 임의의 이분할 네트워크 구조를 지원하여 GADMM의 적용 가능 범위를 체인 구조 네트워크를 초월해 확장한다.