[논문 리뷰] On the Convergence of Decentralized Adaptive Gradient Methods

Xiangyi Chen, Belhal Karimi외 2명|arXiv (Cornell University)|2021. 09. 07.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 비볼록 최적화를 위한 중심집중형 적응형 그래디언트 방법(예: Adam 및 AMSGrad)을 수렴 가능한 분산형 변형으로 변환하는 일반적인 프레임워크를 제안한다. 노드 간 적응형 학습률 일치를 강제함으로써, 약한 조건 하에서도 수렴을 보장하며, 이론적 보장과 실험적 검증을 통해 분산형 AMSGrad에서 성능을 입증하여, 증명 가능한 수렴 속도를 갖는 첫 번째 알려진 수렴 가능한 분산형 적응형 방법을 달성한다.

ABSTRACT

Adaptive gradient methods including Adam, AdaGrad, and their variants have been very successful for training deep learning models, such as neural networks. Meanwhile, given the need for distributed computing, distributed optimization algorithms are rapidly becoming a focal point. With the growth of computing power and the need for using machine learning models on mobile devices, the communication cost of distributed training algorithms needs careful consideration. In this paper, we introduce novel convergent decentralized adaptive gradient methods and rigorously incorporate adaptive gradient methods into decentralized training procedures. Specifically, we propose a general algorithmic framework that can convert existing adaptive gradient methods to their decentralized counterparts. In addition, we thoroughly analyze the convergence behavior of the proposed algorithmic framework and show that if a given adaptive gradient method converges, under some specific conditions, then its decentralized counterpart is also convergent. We illustrate the benefit of our generic decentralized framework on a prototype method, i.e., AMSGrad, both theoretically and numerically.

연구 동기 및 목표

• 비볼록 최적화에서 분산형 적응형 그래디언트 방법에 대한 이론적 수렴 보장의 부족을 해결하기 위해.
• 중앙집중형 적응형 방법(예: Adam, AMSGrad)을 그 분산형 동료로 변환하는 일반적인 알고리즘 프레임워크를 개발하기 위해.
• 수렴하는 적응형 방법의 분산형 변형이 여전히 수렴하기 위해 필요한 조건을 설정하기 위해.
• 프로토타입인 분산형 AMSGrad에 대해 이 프레임워크를 이론적·수치적으로 검증하여 실용성과 이론적 타당성을 입증하기 위해.

제안 방법

• 지역 업데이트와 이웃 간 통신을 통해 중심집중형 적응형 그래디언트 방법을 분산 환경에 적응시키는 일반적인 변환 프레임워크를 제안한다.
• 일致한 스텝 크기를 유지하여 발산을 방지하기 위해 핵심 구성 요소로 적응형 학습률 일치를 도입한다.
• 각 노드가 오직 이웃 노드와만 통신하는 고정된 통신 그래프를 사용하며, 중심 파rameter 서버를 피한다.
• 중앙집중형 방법의 수렴과 그 분산형 동료의 수렴을 연결하는 새로운 이론적 인터페이스(정리 2)를 유도한다.
• 프레임워크를 AMSGrad에 적용하여, 공식적인 수렴 분석이 이루어진 새로운 알고리즘인 분산형 AMSGrad를 도출한다.
• 수렴 증명에서 통신으로 인한 오차를 정량화하기 위해 행렬의 성분별 L1 노름(예: ‖·‖_abs)을 사용한다.

실험 결과

연구 질문

• RQ1 Adam 및 AMSGrad과 같은 적응형 그래디언트 방법은 전역 조율가 없이도 분산 학습으로 성공적으로 확장될 수 있는가?
• RQ2 전역 조율가 없는 상황에서 적응형 그래디언트 방법의 분산형 변형이 수렴하기 위해 필요한 조건은 무엇인가?
• RQ3 적응형 학습률 일치는 분산형 적응형 방법의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 분산형 AMSGrad의 수렴 속도는 무엇이며, 기존의 분산형 방법과 비교해 볼 때 어떻게 되는가?
• RQ5 제안된 프레임워크는 AMSGrad를 초월해 다른 적응형 그래디언트 방법에 일반적으로 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 원래 중심집중형 적응형 방법이 수렴하는 한, 약한 가정 하에서 분산형 동료의 수렴을 보장한다.
• 분산형 AMSGrad는 증명 가능한 수렴 속도를 갖는 첫 번째 알려진 수렴 가능한 분산형 적응형 그래디언트 방법임을 입증하였다.
• 분산형 AMSGrad의 수렴 속도는 O(√d / √(TN)) + O(N/T) + O(N^1.5 / T^1.5 d^0.5) + O(d√N log T / T)로 경계되며, 명시적인 상수를 포함한다.
• 프레임워크는 적응형 학습률 일치가 필수적임을 규명하였으며, 이와 같은 조건이 없을 경우 DADAM과 같은 방법이 발산할 수 있음을 구성된 반례로 입증하였다.
• 수치 실험을 통해 이론적 결과가 확인되었으며, 분산 환경에서 안정적이고 효율적인 학습이 가능함을 보여주었다.
• 분석은 통신 비용을 행렬 노름(예: ‖·‖_abs)을 통해 고려하여 오차 누적과 수렴 성능 간의 관계를 연결하였다.