[논문 리뷰] Dual-Free Stochastic Decentralized Optimization with Variance Reduction

Hadrien Hendrikx, Francis Bach외 1명|arXiv (Cornell University)|2020. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 단일 머신의 스위치 변동 감소 방법과 동일한 계산 효율성을 달성하면서 이중 변수나 고비용 오라클을 필요로 하지 않는 이중 자유(stochastic decentralized optimization) 알고리즘인 DVR을 제안한다. 이는 전체 데이터의 1/n에 해당하는 데이터에서만 국소적 스위치 기울기만을 사용하여 변동 감소를 달성한다. 이는 Bregman 좌표 강하를 특정 Bregman 발산에 적용하여 이중 계산을 제거함으로써 이루어지며, 이로 인해 비용이 많이 드는 프록시럴 또는 쌍대 기울기 오라클을 요구하지 않으면서도 빠른 수렴을 가능하게 한다.

ABSTRACT

We consider the problem of training machine learning models on distributed data in a decentralized way. For finite-sum problems, fast single-machine algorithms for large datasets rely on stochastic updates combined with variance reduction. Yet, existing decentralized stochastic algorithms either do not obtain the full speedup allowed by stochastic updates, or require oracles that are more expensive than regular gradients. In this work, we introduce a Decentralized stochastic algorithm with Variance Reduction called DVR. DVR only requires computing stochastic gradients of the local functions, and is computationally as fast as a standard stochastic variance-reduced algorithms run on a $1/n$ fraction of the dataset, where $n$ is the number of nodes. To derive DVR, we use Bregman coordinate descent on a well-chosen dual problem, and obtain a dual-free algorithm using a specific Bregman divergence. We give an accelerated version of DVR based on the Catalyst framework, and illustrate its effectiveness with simulations on real data.

연구 동기 및 목표

• 기존 방법이 선형 수렴를 보장하지 못하거나 고비용의 이중 오라클을 요구하는 분산 스위치 최적화의 격차를 메우기 위해.
• 이중 변수나 복잡한 서브루틴에 의존하지 않고 단일 머신의 스위치 변동 감소 방법과 동일한 계산 속도를 갖는 분산 알고리즘을 설계하기 위해.
• 분산 환경에서 Bregman 발산과 변동 감소를 활용하여 계산 및 통신 복잡도에서 최적의 수렴 속도를 달성하기 위해.
• 프록시럴 연산자나 Fenchel 쌍대 기울기 오라클을 요구하는 기존 분산 스위치 알고리즘의 실용적이고 효율적인 대안을 제공하기 위해.

제안 방법

• 적절히 선택된 이중 문제에 대해 Bregman 좌표 강하를 적용하여 이중 자유 방법을 유도하는 DVR(Distributed Variance-Reduced) 알고리즘을 제안한다.
• 특정 Bregman 발산을 사용하여 이중 변수나 쌍대 기울기 계산이 필요 없도록 하여 구현을 단순화한다.
• 프록시럴 연산자나 Fenchel 쌍대 기울기와 같은 고비용 오라클을 피하기 위해 오직 국소 함수의 스위치 기울기만을 사용한다.
• Catalyst 프레임워크를 통해 가속 버전을 도입하여 수렴 속도를 향상시키면서도 계산 효율성을 유지한다.
• 소개된 수렴 보장을 위해 가송 매트릭스의 스펙트럼 성질과 조건 수를 사용하여 가상 오차와 매개변수 이탈을 바ounds한다.
• 외부 반복에서 온전한 시작 전략을 적용하여 이전 반복값을 활용해 내부 가상 강하 단계의 수렴을 가속화한다.

실험 결과

연구 질문

• RQ1 이중 변수나 고비용 오라클을 요구하지 않으면서도 단일 머신의 스위치 변동 감소 방법과 동일한 계산 효율성을 달성할 수 있는 분산 스위치 최적화 알고리즘이 존재할 수 있는가?
• RQ2 국소 스위치 기울기 계산만으로도 이중 자유 분산 알고리즘이 선형 수렴를 유지할 수 있는가?
• RQ3 특정 이중 문제에 대해 Bregman 좌표 강하를 적용하면 분산 환경에서 계산적으로 효율적인 이중 자유 알고리즘이 어떻게 가능해지는가?
• RQ4 통신 비용과 네트워크 구조(스펙트럼 갭 γ를 통해)가 변동 감소 분산 알고리즘의 수렴에 어떤 영향을 미치는가?
• RQ5 Catalyst 프레임워크를 통한 가속화가 분산 스위치 최적화에 효과적으로 적용될 수 있으며, 계산 효율성을 유지할 수 있는가?

주요 결과

• DVR는 전체 데이터셋의 1/n에 해당하는 데이터에서 표준 스위치 변동 감소 알고리즘을 실행하는 것과 동일한 계산 복잡도를 달성하여 노드당 계산을 크게 줄였다.
• 알고리즘은 오직 국소 스위치 기울기 평가만을 요구하여 프록시럴 연산자나 Fenchel 쌍대 기울기 계산이 필요 없으며, 이는 종종 계산적으로 금기되는 요소들이다.
• Catalyst 프레임워크에 기반한 가속 버전의 DVR은 O(√κb(1 + τ/√γ) log(ε⁻¹))의 최적 수렴 속도를 로그 인자 수준에서 달성한다.
• RCV1 데이터셋에 대한 시뮬레이션 결과, 통신 비용 τ가 중간 수준일 경우 가속 DVR이 표준 및 가속된 EXTRA보다 전체 런타임에서 뛰어난 성능을 보였다.
• 알고리즘은 스위치 조건 수 κs와 네트워크의 스펙트럼 갭 γ에 따라 선형 수렴를 유지하며, 다양한 그래프 구조에서의 강건성을 입증하였다.
• 이론적 분석을 통해 내부 루프의 가상 오차가 (1−ρ)^K의 속도로 기하급수적으로 감소함을 확인하여, K가 적절히 선택될 경우 빠른 수렴이 보장됨을 입증하였다.