[논문 리뷰] D-SPIDER-SFO: A Decentralized Optimization Algorithm with Faster Convergence Rate for Nonconvex Problems

Taoxing Pan, Jun Liu외 1명|arXiv (Cornell University)|2019. 11. 28.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비볼록 문제를 위한 분산 최적화 알고리즘인 D-SPIDER-SFO를 제안한다. 이 알고리즘은 𝜖-근사 제1차 정류점에 도달하기 위해 𝒪(𝜖⁻³)의 그래디언트 계산 비용을 달성하며, 이는 중심화된 대응 알고리즘인 SPIDER-SFO의 최신 성능를 따라잡는다. 이 방법은 분산화된 공감과 분산된 분산 감소를 활용하여 피어 투 피어 네트워크에서 균형 잡힌 통신을 유지하면서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Decentralized optimization algorithms have attracted intensive interests recently, as it has a balanced communication pattern, especially when solving large-scale machine learning problems. Stochastic Path Integrated Differential Estimator Stochastic First-Order method (SPIDER-SFO) nearly achieves the algorithmic lower bound in certain regimes for nonconvex problems. However, whether we can find a decentralized algorithm which achieves a similar convergence rate to SPIDER-SFO is still unclear. To tackle this problem, we propose a decentralized variant of SPIDER-SFO, called decentralized SPIDER-SFO (D-SPIDER-SFO). We show that D-SPIDER-SFO achieves a similar gradient computation cost---that is, $\mathcal{O}(ε^{-3})$ for finding an $ε$-approximate first-order stationary point---to its centralized counterpart. To the best of our knowledge, D-SPIDER-SFO achieves the state-of-the-art performance for solving nonconvex optimization problems on decentralized networks in terms of the computational cost. Experiments on different network configurations demonstrate the efficiency of the proposed method.

연구 동기 및 목표

• 비볼록 최적화를 위한 중심화된 SPIDER-SFO의 분산 버전을 개발하여 동일한 수렴 속도를 달성하는 것.
• 특히 통신 부하가 제한 요소가 되는 상황에서 분산 비볼록 최적화의 빠른 수렴 속도에 대한 격차를 메우는 것.
• 분산 네트워크에서 분산 감소 기법을 활용하여 계산 비용을 줄이고 더 빠른 수렴을 달성하는 것.
• 분산 알고리즘이 비볼록 설정에서 이론적 최저값에 근접한 그래디언트 복잡도를 달성할 수 있음을 보여주는 것.

제안 방법

• SPIDER-SFO 알고리즘의 분산 확장인 D-SPIDER-SFO를 제안하며, 분산 감소를 적용한 국지적 스위치 그래디언트 추정기법을 사용한다.
• 각 노드가 이웃 노드와만 통신하여 균형 잡힌 통신 부하를 유지하는 공감 기반 업데이트 규칙을 적용한다.
• 세 하이퍼파라미터 S₁, S₂, q를 포함한 하이브리드 샘플링 전략을 도입하여 각 반복에서의 그래디언트 추정을 위한 샘플 수를 제어한다.
• 감소하는 스텝 사이즈와 적응형 샘플링을 사용하여 반복 과정에서 수렴 속도와 분산 감소를 균형 잡는다.
• 다양한 샘플의 그래디언트 정보를 결합하는 국지적 업데이트 메커니즘을 적용하여 분산성을 유지하면서 분산을 줄인다.
• 이론적 분석은 국지적 반복의 평균에서의 그래디언트 노름 기대값을 경계함으로써, 𝜖-근사 정류점으로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 분산 최적화 알고리즘이 비볼록 문제에 대해 SPIDER-SFO와 동일한 𝒪(𝜖⁻³) 그래디언트 계산 비용을 달성할 수 있는가?
• RQ2 D-SPIDER-SFO는 균형 잡힌 통신을 유지하면서 분산 네트워크 제약 조건 하에서도 빠른 수렴을 유지하는가?
• RQ3 D-SPIDER-SFO의 통신 비용은 중심화된 SPIDER-SFO 및 D-PSGD, D² 등의 다른 분산 기반 알고리즘과 비교해 어떻게 되는가?
• RQ4 D-SPIDER-SFO의 이론적 수렴 보장은 그래디언트 노름과 기대 함수 값 감소 측면에서 어떻게 되는가?

주요 결과

• D-SPIDER-SFO는 𝜖-근사 제1차 정류점에 도달하기 위해 𝒪(𝜖⁻³)의 그래디언트 계산 비용을 달성하며, 이는 비볼록 문제에 대한 이론적 최저값을 따라간다.
• 이 알고리즘은 중심화된 SPIDER-SFO의 수렴 속도를 그대로 유지하여 분산 비볼록 최적화 분야에서 최신 기술 수준에 도달한다.
• 중심화된 SPIDER-SFO에 비해 가장 활동적인 노드의 통신 부담을 줄여 고지연 네트워크에서의 확장성을 향상시킨다.
• 8개 노드로 구성된 CPU 클러스터에서의 실험 결과, D-SPIDER-SFO는 D-PSGD와 D²보다 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 K 반복 이내에 평균 반복에서의 기대 그래디언트 노름이 𝒪(𝜖²)로 수렴하며, 총 그래디언트 비용이 𝒪(𝜖⁻³) 이내로 경계됨을 확인했다.