[논문 리뷰] ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks

Dmitry Kovalev, Egor Shulgin외 3명|arXiv (Cornell University)|2021. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 13

한 줄 요약

ADOM은 시간에 따라 변화하는 네트워크를 위한 가속화된 분산 최적화 방법으로, 이중 오ракulum을 사용하여 통신 복잡도를 $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$로 달성하며, 정적이고 완전히 연결된 네트워크에서 네스테로프의 가속화 방법의 속도를 따라잡는다. 네트워크 연결성만을 최소한의 가정으로 요구하므로, 동적 구조에 대해 강건하다.

ABSTRACT

We propose ADOM - an accelerated method for smooth and strongly convex decentralized optimization over time-varying networks. ADOM uses a dual oracle, i.e., we assume access to the gradient of the Fenchel conjugate of the individual loss functions. Up to a constant factor, which depends on the network structure only, its communication complexity is the same as that of accelerated Nesterov gradient method (Nesterov, 2003). To the best of our knowledge, only the algorithm of Rogozin et al. (2019) has a convergence rate with similar properties. However, their algorithm converges under the very restrictive assumption that the number of network changes can not be greater than a tiny percentage of the number of iterations. This assumption is hard to satisfy in practice, as the network topology changes usually can not be controlled. In contrast, ADOM merely requires the network to stay connected throughout time.

연구 동기 및 목표

• 네트워크 구조가 동적으로 변화하는 환경에서 효율적이고 가속화된 분산 최적화 방법의 부족을 해결한다.
• 이전의 가속화 방법들이 네트워크 변화 수에 대해 제한적인 가정을 요구하는 한계를 극복한다.
• 정적 네트워크에서 가장 잘 알려진 속도를 따라가며, 동적 환경에서도 효과적인 통신 복잡도를 달성한다.
• 최소한의 네트워크 구조적 가정 하에 이론적으로 타당하고 안정적인 알고리즘을 제공하여 선형 수렴을 유지한다.
• 네트워크 연결성이 본질적으로 시간에 따라 변화하는 현대 시스템(예: 페더레이티드 러닝 및 모바일 엣지 컴퓨팅)에서의 실용적 구현을 가능하게 한다.

제안 방법

• 개별 손실 함수의 펜체르 코너게이트의 기울기를 활용하는 이중 오라클을 사용한 일반화된 투영 네스테로프 기울기 하강법(Generalized Projected Nesterov Gradient Descent, PNGD) 기반의 가속화 알고리즘 ADOM을 제안한다.
• 개별 손실 함수의 펜체르 코너게이트 기울기 접근을 통해 이중 공간 갱신을 효율적으로 구현한다.
• 시간에 따라 변화하는 네트워크 구조에서의 수렴 분석을 위해 분산 통신을 수축성이며, 가능하면 편향이 있는 선형 압축 연산자로 모델링한다.
• 네트워크 행렬 $\mathbf{W}^k$의 시간에 따른 변화와 그 스펙트럼 성질을 고려한 새로운 분석 프레임워크를 도입한다.
• 실용성을 확보하기 위해 이중 기울기의 근사치를 몇 번의 기울기 하강법 또는 가속 기울기 하강법 반복을 통해 계산한다.
• 이전의 가정을 완화하기 위해 네트워크 연결성에 기반하여 안정성과 수렴성을 확보함으로써, 네트워크 변화의 유한성에 대한 제약을 완화한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 네트워크에서 네트워크 변화 수에 제한 없이 최적의 통신 복잡도를 달성할 수 있는 가속화된 분산 최적화 방법이 존재하는가?
• RQ2 이중 오라클의 사용이 동적 통신 그래프를 가진 분산 환경에서 수렴 속도를 향상시키는 데 어떻게 기여하는가?
• RQ3 시간에 따라 변화하는 환경에서 가속화 방법의 선형 수렴을 보장하기 위해 필요한 최소한의 네트워크 구조적 가정은 무엇인가?
• RQ4 고정밀 작업에서 요구되는 효율성을 유지하면서도 시간에 따라 변화하는 네트워크에서 가속화 방법의 수렴 속도를 유지할 수 있는가?
• RQ5 조건 수와 네트워크 구조 파라미터가 다양할 때 ADOM이 기존의 가속화 방법(Acc-DNGD, APM)과 실질적으로 어떻게 비교되는가?

주요 결과

• ADOM은 $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$의 통신 복잡도를 달성하며, 정적이고 완전히 연결된 경우 네스테로프의 가속화 방법의 속도를 따라잡는다.
• DNM과 달리, ADOM은 네트워크 구조가 자주 변화하더라도 네트워크가 연결되어 있는 한 안정적이고 수렴 가능하다.
• 실험 결과, 조건 수 $\kappa \in \{10, 10^2, 10^3, 10^4\}$와 네트워크 구조 파라미터 $\chi \in \{9, 32, 134, 521\}$의 다양한 조건에서 ADOM이 Mudag, Acc-DNGD, APM을 모두 앞선다.
• ADOM은 모든 테스트 케이스에서 신뢰성 있게 수렴하지만, DNM은 네트워크 변화 수에 대한 제한적인 가정으로 인해 8개의 케이스 중 7개에서 발산한다.
• 이중 기울기 근사를 위해 AGD를 단지 $T=1$에서 $3$회 반복하는 것으로도 거의 최적의 성능를 달성하여 실용적 효율성을 입증한다.
• APM은 후반 단계에서 비선형 수렴을 보이며, 통신 복잡도가 $\log^2 \frac{1}{\varepsilon}$ 비례하여 증가하므로, 고정밀 작업에서는 ADOM보다 효율성이 떨어진다.