[논문 리뷰] Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation

Cong Fang, Yameng Huang외 1명|arXiv (Cornell University)|2018. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 지연된 그래디언트를 보정함으로써 이질적 볼록 최적화 알고리즘의 수렴 속도를 향상시키기 위해 동적 보정 기법을 도입한다. 이로 인해 비강한 볼록 문제에 대해 $O(1/\sqrt{\epsilon})$이고, 강한 볼록 문제에 대해 $O(\sqrt{\kappa}\log(1/\epsilon))$의 수렴 속도를 달성한다. 이는 기존 방법보다 더 빠른 수렴 속도를 보이며, 새로운 가속화된 이질적 SGD 및 좌표 내림(descents) 알고리즘을 제안하여 이론적·실제 성능 면에서 기존 방법을 능가한다. 특히, 불량 조건 문제에서 뛰어난 성능을 발휘한다.

ABSTRACT

Asynchronous algorithms have attracted much attention recently due to the crucial demands on solving large-scale optimization problems. However, the accelerated versions of asynchronous algorithms are rarely studied. In this paper, we propose the "momentum compensation" technique to accelerate asynchronous algorithms for convex problems. Specifically, we first accelerate the plain Asynchronous Gradient Descent, which achieves a faster $O(1/\sqrtε)$ (v.s. $O(1/ε)$) convergence rate for non-strongly convex functions, and $O(\sqrtκ\log(1/ε))$ (v.s. $O(κ\log(1/ε))$) for strongly convex functions to reach an $ε$- approximate minimizer with the condition number $κ$. We further apply the technique to accelerate modern stochastic asynchronous algorithms such as Asynchronous Stochastic Coordinate Descent and Asynchronous Stochastic Gradient Descent. Both of the resultant practical algorithms are faster than existing ones by order. To the best of our knowledge, we are the first to consider accelerated algorithms that allow updating by delayed gradients and are the first to propose truly accelerated asynchronous algorithms. Finally, the experimental results on a shared memory system show that acceleration can lead to significant performance gains on ill-conditioned problems.

연구 동기 및 목표

• 볼록 최적화를 위한 가속화된 이질적 알고리즘이 부족한 문제, 특히 지연된 그래디언트를 다루는 알고리즘의 부족을 해결하기 위해.
• 기본적인 $O(1/\epsilon)$ 및 $O(\kappa\log(1/\epsilon))$ 수렴 한계를 초월하여 이질적 알고리즘의 수렴 속도를 향상시키기 위해.
• 공유 메모리 시스템에서도 성능 향상을 유지하는 실용적이고 진정으로 가속화된 이질적 알고리즘을 설계하기 위해.
• 신규 가속화된 이질적 변형에 대해 유한 지연 조건 하에서 이론적 수렴 보장을 수립하기 위해.

제안 방법

• 이질적 업데이트에서 지연된 그래디언트의 영향을 보정하기 위해 동적 보정 기법을 도입함으로써 더 빠른 수렴을 가능하게 한다.
• 이 기법을 이질적 경사 하강법(AGD)에 적용하여 비강한 볼록 함수에 대해 $O(1/\sqrt{\epsilon})$이고, 강한 볼록 함수에 대해 $O(\sqrt{\kappa}\log(1/\epsilon))$의 성능을 달성한다.
• 동적 보정 기법을 이질적 확률적 좌표 내림(ASCD) 및 이질적 확률적 경사 하강법(ASGD)에 확장하여 AASCD 및 AASGD 알고리즘을 제안한다.
• 지연에 적응하는 헤시안-벡터 기반 그래디언트 추정기(식 209)를 유도함으로써, 지연 증가에 따라 보정 가중치가 지수적으로 감소하도록 보장한다.
• 메모리 충돌을 방지하고 희소 데이터셋에서의 효율성을 향상시키기 위해 스피닝 락과 희소 업데이트 기법을 활용한다.
• 희소 업데이트의 영향을 제한하기 위해 $\triangle$-가정을 사용하고, 희소성에 따라 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 지연된 그래디언트를 고려한 이질적 알고리즘의 가속화에 동적 보정 기법을 적용할 수 있는가? 이는 표준 수렴 속도를 초월할 수 있는가?
• RQ2 특히 유한 지연 조건 하에서, 지연된 그래디언트가 존재하는 이질적 환경에서도 가속화된 수렴을 달성할 수 있는가?
• RQ3 제안된 가속화된 이질적 알고리즘은 기존 알고리즘과 비교해 수렴 속도와 실용적 성능 면에서 어떻게 다른가?
• RQ4 유한 지연 및 희소성 조건 하에서, 가속화된 이질적 알고리즘에 대해 어떤 이론적 수렴 보장을 확보할 수 있는가?

주요 결과

• 제안된 AAGD는 비강한 볼록 함수에 대해 $O(1/\sqrt{\epsilon})$의 수렴 속도를 달성하고, 강한 볼록 함수에 대해 $O(\sqrt{\kappa}\log(1/\epsilon))$의 속도를 보이며, 상수 요소를 제외한 하한선과 일치한다.
• AASCD 및 AASGD는 기존 이질적 대응체보다 더 빠른 수렴 속도를 보이며, 각각 $(n\sqrt{L}+n\tau\sqrt{L_{c}})\sqrt{1/\epsilon}$ 및 $n+(n+\tau\sqrt{n})\sqrt{L/\epsilon}$의 향상된 수렴 속도를 달성한다.
• 불량 조건 문제에서는 실험 결과가 뚜렷한 성능 향상을 보이며, 특히 정규화 파라미터 $\lambda$가 작을 경우 최신 기술 대비 뛰어난 성능을 보여준다.
• 스피닝 락과 희소 업데이트 기법을 통해 알고리즘이 안정성과 효율성을 유지하며, 공유 메모리 시스템에서 메모리 충돌을 방지하고 정확한 계산을 보장한다.
• 이론적 분석을 통해 헤시안-벡터 기반 추정기(식 209)가 지연 증가에 따라 보정 가중치가 지수적으로 감소함을 확인하였으며, 이는 큰 지연 조건 하에서도 수렴을 유지함을 보여준다.
• $\triangle$-가정은 희소성 요소를 고려함으로써 더 날카운 수렴 한계를 도출할 수 있게 하며, 업데이트 변화가 작고 예측 가능하다는 것을 보여준다.