[논문 리뷰] Collaborative Deep Learning in Fixed Topology Networks

Zhanhong Jiang, Aditya Balu외 2명|arXiv (Cornell University)|2017. 06. 23.

Distributed Control Multi-Agent Systems참고 문헌 17인용 수 77

한 줄 요약

논문은 합의 기반 분산 SGD (CDSGD) 및 모멘텀 변형 (CDMSGD)을 고정 토폴로지 그래프에서의 협력적 딥러닝에 도입하여, 데이터 병렬성과 분산 계산을 가능하게 하고, 볼록 및 비볼록 목적함수에 대한 수렴 보장을 제시하며 CIFAR-10/100에서 중앙집중식 SGD 및 FedAvg에 대한 실험적 검증을 제공합니다.

ABSTRACT

There is significant recent interest to parallelize deep learning algorithms in order to handle the enormous growth in data and model sizes. While most advances focus on model parallelization and engaging multiple computing agents via using a central parameter server, aspect of data parallelization along with decentralized computation has not been explored sufficiently. In this context, this paper presents a new consensus-based distributed SGD (CDSGD) (and its momentum variant, CDMSGD) algorithm for collaborative deep learning over fixed topology networks that enables data parallelization as well as decentralized computation. Such a framework can be extremely useful for learning agents with access to only local/private data in a communication constrained environment. We analyze the convergence properties of the proposed algorithm with strongly convex and nonconvex objective functions with fixed and diminishing step sizes using concepts of Lyapunov function construction. We demonstrate the efficacy of our algorithms in comparison with the baseline centralized SGD and the recently proposed federated averaging algorithm (that also enables data parallelism) based on benchmark datasets such as MNIST, CIFAR-10 and CIFAR-100.

연구 동기 및 목표

• 각 에이전트가 로컬의 비공개 데이터를 보유하고 통신이 고정된 토폴로지에 의해 제약되는 확장 가능한 분산 딥러닝을 동기 부여한다.
• 네트워크 제약 하에서 분산 계산으로 데이터 병렬성을 달성하기 위해 CDSGD(및 CDMSGD)를 개발한다.
• Lyapunov 함수 구성을 사용하여 강볼록 및 비볼록 목적함수에 대한 수렴 분석을 제공한다.
• 수렴 속도, 정확도 및 일반화 평가를 위해 중앙집중식 SGD 및 Federated Averaging과 벤치마크를 수행한다.

제안 방법

• 이중 확률적 상호작용 행렬 Pi를 갖는 고정된 무방향 그래프 위의 분산 경험적 위험 최소화 문제를 정의한다.
• CDSGD를 제안한다: 각 에이전트 j에 대해 x_{k+1}^j = sum_{l in Nb(j)} pi_jl x_k^l − alpha g_j(x_k^j).
• 수렴 분석을 위해 Lyapunov 함수 V(x, alpha) = (N/n) 1^T F(x) + (1/(2 alpha)) ||x||_{I−Pi}^2 를 도입한다.
• 합의 결과를 확립하여 E[||x_k^j − s_k||] ≤ alpha L / (1 − lambda_2(Pi))를 보인다.
• 가정 1–3하에서 강볼록(해당 근방으로 선형 수렴) 및 비볼록(경사 벡터의 합이 유한) 경우에 대한 수렴 정리를 제공한다.
• 모멘텀 변형(CDMSGD) 및 감소하는 학습률(보충 자료)에 대한 확장을 언급한다.

실험 결과

연구 질문

• RQ1 고정 토폴로지로 연결된 에이전트들에 데이터가 분산될 때 CDSGD가 합의와 수렴을 달성할 수 있는가?
• RQ2 CDSGD/CDMSGD 하에서 강볼록 및 비볼록 목적함수에 대해 어떤 수렴 속도와 정상 상태 정확도가 달성될 수 있는가?
• RQ3 네트워크 토폴로지(스펙트럴 갭)가 중앙집중식 SGD 또는 FedAvg와 비교하여 수렴, 합의 및 최종 정확도에 어떤 영향을 미치는가?
• RQ4 CDSGD/CDMSGD가 중앙 집중 기준선 및 FedAvg에 비해 일반화(훈련 대 검증 간 격차)를 향상시키는가?
• RQ5 고정 학습률 대 감소하는 학습률이 수렴 규칙 및 실무 성능에 어떤 영향을 미치는가?

주요 결과

• CDSGD는 유한한 스텝 크기에서 에이전트 간 합의를 달성하며 합의 오차가 alpha와 그래프 스펙트럴 갭(lambda_2(Pi))에 의해 유한하게 한정된다.
• 강볼록 목적함수의 경우 CDSGD는 최적해의 근처로 선형 수렴하며, 이 근처는 더 작은 스텝 크기로 축소되고 더 큰 스펙트럼 갭에서 개선된다.
• 비볼록 목적함수의 경우 CDSGD는 반복들에 걸친 그래디언트 노름의 합이 유한하게 바운드되어 실용적 의미의 정지점으로의 수렴을 시사한다.
• CDMSGD는 연속 상태에서의 정확도 면에서 FedAvg보다 우수할 수 있으며 분산 계산을 유지하고 충분한 에폭을 주면 중앙집중식 SGD의 성능에 근접한다.
• CIFAR-10/100에 대한 실험 결과 CDSGD가 중앙집중식 SGD 또는 FedAvg와 동일하거나 더 높은 최종 정확도를 달성하고 일반화 격차가 더 작아지며; 네트워크 크기와 토폴로지가 합의 안정성과 학습 다이나믹에 긍정적으로 영향을 준다.