[논문 리뷰] Revisiting EXTRA for Smooth Distributed Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|2020. 02. 24.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 분산 최적화를 위한 분산형 최적화 알고리즘 EXTRA를 재검토하며, 더 날카운 복잡도 분석을 제공하고 Catalyst 프레임워크를 활용한 가속 버전을 제안한다. 가속된 EXTRA는 이론적 하한선과 로그적 요소만 다를 뿐 near-optimal 수준의 통신 및 계산 복잡도를 달성하여, 잘 연결된 네트워크와 고정밀 응용 분야에서 매우 효율적이다.

ABSTRACT

EXTRA is a popular method for dencentralized distributed optimization and has broad applications. This paper revisits EXTRA. First, we give a sharp complexity analysis for EXTRA with the improved $O\left(\left(\frac{L}μ+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{ε(1-σ_2(W))} ight)$ communication and computation complexities for $μ$-strongly convex and $L$-smooth problems, where $σ_2(W)$ is the second largest singular value of the weight matrix $W$. When the strong convexity is absent, we prove the $O\left(\left(\frac{L}ε+\frac{1}{1-σ_2(W)} ight)\log\frac{1}{1-σ_2(W)} ight)$ complexities. Then, we use the Catalyst framework to accelerate EXTRA and obtain the $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log\frac{ L}{μ(1-σ_2(W))}\log\frac{1}ε ight)$ communication and computation complexities for strongly convex and smooth problems and the $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}{ε(1-σ_2(W))} ight)$ complexities for non-strongly convex ones. Our communication complexities of the accelerated EXTRA are only worse by the factors of $\left(\log\frac{L}{μ(1-σ_2(W))} ight)$ and $\left(\log\frac{1}{ε(1-σ_2(W))} ight)$ from the lower complexity bounds for strongly convex and non-strongly convex problems, respectively.

연구 동기 및 목표

• 부드럽고 강력히 볼록이며, 비강력 볼록 문제에 대해 원래 EXTRA 알고리즘의 정교한 복잡도 분석을 제공하는 것.
• 기존 가속 프레임워크를 활용해 EXTRA를 가속화하는 데 있어 열려 있는 문제를 해결하는 것.
• 이론적 하한선과 로그적 간격만을 가지며, 통신 및 계산 복잡도가 거의 최적에 도달하도록 하는 것.
• 다양한 네트워크 구조와 문제 조건에서 최신 기술과의 비교를 통해 가속된 EXTRA의 성능을 평가하는 것.

제안 방법

• 조건 수 $ \frac{L}{\mu} $ 와 네트워크 연결성 파라미터 $ \frac{1}{1 - \sigma_2(W)} $ 간의 상호작용을 분석하여 원래 EXTRA의 날카운 수렴 속도를 유도한다.
• Catalyst 프레임워크를 적용하여 EXTRA를 가속화하고, 수렴 속도를 향상시키기 위해 프록시미티 유사 외부 루프에 통합한다.
• 내부 반복은 기울기 추적을, 외부 반복은 가속을 담당하는 이중 수준 반복 구조를 도입하며, 적응형 스텝 사이즈와 모멘타 파rameter를 사용한다.
• 상수 스텝 사이즈를 유지하면서도 수렴 속도를 향상시키는 이중 기반 가속 메커니즘을 도입하여, 반복당 통신량을 증가시키지 않는다.
• 강력 볼록 및 비강력 볼록 설정 모두에서 수렴 행동을 분석하고, $ L, \mu, \epsilon, \sigma_2(W) $ 를 기반으로 명시적인 복잡도 경계를 도출한다.
• 원래 및 가속된 EXTRA에 대해 날카운 수렴 보장을 확립하기 위해 새로운 리아푸노프 함수 분석을 활용한다.

실험 결과

연구 질문

• RQ1 부드럽고 분산된 최적화에 대해 원래 EXTRA 알고리즘의 정확한 통신 및 계산 복잡도는 무엇인가?
• RQ2 Catalyst와 같은 알려진 가속 프레임워크를 사용하여 EXTRA의 수렴 속도를 향상시킬 수 있는가?
• RQ3 가속된 EXTRA는 분산 환경에서 통신 및 계산 복잡도의 이론적 하한선과 얼마나 가까이 도달할 수 있는가?
• RQ4 다양한 네트워크 구조와 문제 조건에서 가속된 EXTRA는 ADA 및 APM-C와 같은 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ5 가속된 EXTRA는 어떤 조건에서 기준 방법보다 우월하거나 열등한 성능을 보이는가?

주요 결과

• 강력 볼록 및 $ L $-부드럽고 $ \mu $-강력 볼록 문제에 대해 원래 EXTRA는 $ O\left(\left(\frac{L}{\mu} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $ 의 통신 및 계산 복잡도를 달성한다.
• 비강력 볼록 문제의 경우 복잡도는 $ O\left(\left(\frac{L}{\epsilon} + \frac{1}{1 - \sigma_2(W)}\right)\log\frac{1}{1 - \sigma_2(W)}\right) $ 이다.
• Catalyst를 통한 가속된 EXTRA는 강력 볼록 문제에 대해 $ O\left(\sqrt{\frac{L}{\mu(1 - \sigma_2(W))}}\log\frac{L}{\mu(1 - \sigma_2(W))}\log\frac{1}{\epsilon}\right) $ 의 복잡도를 달성하며, 이론적 하한선과 로그적 간격만을 가지며 거의 최적이다.
• 비강력 볼록 문제의 경우 가속된 버전은 $ O\left(\sqrt{\frac{L}{\epsilon(1 - \sigma_2(W))}}\log\frac{1}{\epsilon(1 - \sigma_2(W))}\right) $ 의 복잡도를 달성하며, 이 또한 이론적 최소값과 로그적 간격만을 가진다.
• 수치 실험 결과, 잘 연결된 네트워크에서 $ \frac{1}{1 - \sigma_2(W)} $ 가 작은 경우 가속된 EXTRA는 원래 EXTRA, ADA, APM-C를 모두 능가하는 성능을 보이며, 특히 고정밀 응용에서 두각을 나타낸다.
• $ \mu $ 또는 $ \frac{1}{1 - \sigma_2(W)} $ 가 클 경우 성능이 저하됨을 확인하여, 병렬 조건과 열악한 네트워크 연결성에 민감함을 시사한다.