[논문 리뷰] Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent

Yitan Li, Linli Xu외 2명|arXiv (Cornell University)|2016. 05. 21.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 계산 비용이 큰 프록시멀 연산을 마스터에서 워커로 이관함으로써 더 쉬운 병렬 처리를 가능하게 하는 분리형 비동기 프록시멀 확률적 경사하강법(DAP-SGD)을 제안한다. 감소하는 스텝 사이즈를 사용할 경우 O(log T / T) 수렴 속도를 달성하고, 일정한 스텝 사이즈를 사용할 경우 에르고딕한 O(1/√T) 수렴 속도를 확보하여 비연속적인 정규화가 있는 대규모 머신러닝의 확장성 향상에 기여한다.

ABSTRACT

Asynchronous parallel optimization algorithms for solving large-scale machine learning problems have drawn significant attention from academia to industry recently. This paper proposes a novel algorithm, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD), to minimize an objective function that is the composite of the average of multiple empirical losses and a regularization term. Unlike the traditional asynchronous proximal stochastic gradient descent (TAP-SGD) in which the master carries much of the computation load, the proposed algorithm off-loads the majority of computation tasks from the master to workers, and leaves the master to conduct simple addition operations. This strategy yields an easy-to-parallelize algorithm, whose performance is justified by theoretical convergence analyses. To be specific, DAP-SGD achieves an $O(\log T/T)$ rate when the step-size is diminishing and an ergodic $O(1/\sqrt{T})$ rate when the step-size is constant, where $T$ is the number of total iterations.

연구 동기 및 목표

• 비연속 정규화자에 대해 특히 비용이 많이 드는 프록시멀 연산을 수행하는 마스터로 인한 전통적인 비동기 프록시멀 SGD의 성능 저하 문제를 해결하기 위해.
• 워커로 프록시멀 단계 계산을 분산화하여 더 스케일러블하고 병렬 처리 가능한 알고리즘을 설계하기 위해.
• 강凸성과 리프시츠 연속 기울기의 표준 가정 하에 제안된 알고리즘의 이론적 수렴 보장을 제공하기 위해.
• 공유 메모리 및 파라미터 서버 아키텍처 모두에서 효율적인 구현을 가능하게 하기 위해.

제안 방법

• 각 워커가 로컬 기울기 업데이트에 대해 프록시멀 연산자를 계산하도록 하여 마스터에서 프록시멀 단계를 분리한다.
• 마스터는 워커들로부터 온 업데이트된 매개변수의 요소별 덧셈만 수행하므로 계산 부담이 크게 감소한다.
• O(log T / T) 수렴 속도를 달성하기 위해 감소하는 스텝 사이즈 규칙 η_t = O(1/t)를 적용한다.
• 일반화된 평균 매개변수에 대해 O(1/√T) 수렴 속도를 확보하기 위해 일정한 스텝 사이즈 η = O(1/√T)를 사용한다.
• 비동기 업데이트 하에서 반복값의 수렴을 분석하기 위해 체결 및 재귀적 경계 기법을 적용한다.
• 강凸성, 기울기의 리프시츠 연속성, 정규화자의 유계 부분미분의 가정을 바탕으로 수렴 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기존 비동기 프록시멀 SGD에서 마스터의 계산 병목을 워커로 프록시멀 연산을 이관함으로써 완화할 수 있는가?
• RQ2 마스터에서 프록시멀 단계를 분리함으로써 비동기 업데이트 하에서도 수렴 보장을 유지할 수 있는가?
• RQ3 감소하는 스텝 사이즈와 일정한 스텝 사이즈를 사용할 경우 제안된 DAP-SGD 알고리즘의 이론적 수렴 속도는 무엇인가?
• RQ4 다양한 정규화 구조를 가진 다중 코어 및 다중 머신 환경에서 알고리즘이 어떻게 확장되는가?
• RQ5 특정 정규화 유형에 맞는 맞춤형 병렬화가 필요 없이도 비연속 정규화자에 대해서도 수렴을 유지할 수 있는가?

주요 결과

• 감소하는 스텝 사이즈를 사용할 경우 DAP-SGD는 O(log T / T) 수렴 속도를 확보하며, 이는 유사 알고리즘의 최고 수준의 성능을 그대로 유지한다.
• 일정한 스텝 사이즈를 사용할 경우 평균 매개변수의 에르고딕 수렴 속도가 O(1/√T)로 나타나며, 이는 확률적 1차 방법의 표준 성능이다.
• 이론적 분석은 강凸성(f), 기울기의 리프시츠 연속성, 정규화자(h)의 부분미분의 유계성이라는 표준 가정 하에서 수렴을 확인한다.
• 마스터가 경량의 덧셈 연산만 수행하므로 알고리즘은 매우 병렬 처리 가능하며, 공유 메모리 및 파라미터 서버 아키텍처에 적합하다.
• 워커로 프록시멀 연산을 이관함으로써 각 정규화 항목에 맞는 맞춤형 병렬화가 필요 없어지며, 프레임워크의 유연성이 향상된다.
• 수렴 경계는 재귀 부등식과 체결 합을 통해 유도되었으며, 이는 이질성과 지연된 업데이트에 대한 강건성을 입증한다.