[논문 리뷰] DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization

Parvin Nazari, Davoud Ataee Tarzanagh외 1명|arXiv (Cornell University)|2019. 01. 25.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

DADAM는 분산 네트워크에서 온라인 최적화를 위한 공감 기반 분산 적응형 경사 하강법을 제안하며, 중심 노드를 제거하여 데이터 병렬 처리를 가능하게 하고 통신 오버헤드를 감소시킵니다. 이론적으로는 중심화된 적응형 방법보다 향상된 동적 위험 한계를 달성하며, MNIST에서 Adam 및 Amsgrad와 같은 경쟁자들보다 학습 정확도와 수렴 속도에서 뛰어난 성능을 보입니다.

ABSTRACT

Adaptive gradient-based optimization methods such as extsc{Adagrad}, extsc{Rmsprop}, and extsc{Adam} are widely used in solving large-scale machine learning problems including deep learning. A number of schemes have been proposed in the literature aiming at parallelizing them, based on communications of peripheral nodes with a central node, but incur high communications cost. To address this issue, we develop a novel consensus-based distributed adaptive moment estimation method ( extsc{Dadam}) for online optimization over a decentralized network that enables data parallelization, as well as decentralized computation. The method is particularly useful, since it can accommodate settings where access to local data is allowed. Further, as established theoretically in this work, it can outperform centralized adaptive algorithms, for certain classes of loss functions used in applications. We analyze the convergence properties of the proposed algorithm and provide a dynamic regret bound on the convergence rate of adaptive moment estimation methods in both stochastic and deterministic settings. Empirical results demonstrate that extsc{Dadam} works also well in practice and compares favorably to competing online optimization methods.

연구 동기 및 목표

• 중앙 집중식 적응형 최적화에서 높은 통신 비용을 해결하기 위해 분산 대체 방법을 설계한다.
• 로컬 데이터 액세스와 중심 노드 없이 대규모 머신 러닝에서 효율적인 온라인 학습을 가능하게 한다.
• 스토케스틱 및 결정론적 설정 모두에서 적응형 모멘텀 추정에 대해 동적 위험 한계를 이론적으로 확립한다.
• 일부 손실 함수 클래스에 대해 DADAM이 중심화된 적응형 알고리즘을 능가할 수 있음을 입증한다.
• 공감 기반 계산과 네트워크 토폴로지 인식을 통해 강건성과 확장성을 확보한다.

제안 방법

• 에이전트가 이웃과만 통신하는 공감 기반 프레임워크를 활용하여 중심 조정자를 피한다.
• 적응형 경사 하강 업데이트와 분산 평균화를 결합한 새로운 분산 적응형 모멘텀 추정 알고리즘(DADAM)을 도입한다.
• 메트로폴리탄 무게를 사용하는 시간에 따라 변화하는 혼합 행렬 $ W $ 를 사용하여 네트워크 전역으로 정보를 확산한다.
• Adam과 유사한 방식으로 모멘텀 추정치 $ m_t $ 와 $ v_t $ 를 통해 적응형 학습률을 적용하지만, 로컬 공감을 통해 업데이트한다.
• 모멘텀 추정에 대해 지수 감쇠률 $ \beta_{1,t} $, $ \beta_{2} $, $ \beta_{3} $ 를 사용하며, $ \beta_{3} $ 는 두 번째 모멘텀 업데이트를 제어한다.
• 비독립적이고 비정적 손실 시퀀스 상에서 수렴 보장을 도출하기 위해 동적 위험 분석을 적용한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 적응형 방법(예: Adam)보다 더 나은 위험 한계를 달성할 수 있는 분산 적응형 경사 하강법이 가능한가?
• RQ2 특히 스펙트럼 갭 $ \sigma_2(W) $ 를 고려할 때 네트워크 토폴로지가 DADAM 알고리즘의 수렴에 어떤 영향을 미치는가?
• RQ3 실제 적용에서 $ \beta_3 $ 와 같은 하이퍼파rameter의 성능에 미치는 영향은 무엇인가?
• RQ4 비볼록성과 비정적 온라인 학습 환경에서 DADAM은 수렴성과 안정성을 유지하는가?
• RQ5 학습 정확도와 손실 감소 측면에서 DADAM은 기존의 분산 및 중심 집중식 적응형 방법들을 능가할 수 있는가?

주요 결과

• DADAM은 네트워크 연결성과 학습률 감쇠에 명시적인 의존성을 갖는 동적 위험 한계 $ O\left(\frac{1}{T} \sum_{t=1}^T \alpha_t \right) $ 를 달성한다.
• 실험 결과 DADAM은 특히 희소 네트워크 토폴로지에서 Amsgrad 및 Adam보다 더 빠르게 수렴하고 더 높은 학습 정확도를 확보한다.
• 알고리즘은 $ \sigma_2(W) $ 가 높을수록 가장 잘 작동하며, 이는 스펙트럼 갭이 우수한 희소 네트워크가 수렴 속도를 향상시킨다는 것을 시사한다.
• $ \beta_3 = 0.9 $ 또는 $ 0.99 $ 로 설정할 경우 $ \beta_3 = 0 $ 보다 더 나은 성능을 보이며, 이는 비영인 감쇠가 안정성을 향상시킨다는 것을 시사한다.
• 이론적 분석을 통해 DADAM이 특정 손실 함수 클래스에 대해 중심화된 적응형 방법을 능가할 수 있음을 확인하였으며, 특히 기울기가 비정적일 경우에 유리하다.
• $ \alpha_t = \frac{\alpha}{\sqrt{nT}} $ 를 사용할 경우 온라인 학습에서 탐색과 이용의 균형을 이루며 수렴 속도가 향상된다.