[논문 리뷰] More Iterations per Second, Same Quality -- Why Asynchronous Algorithms may Drastically Outperform Traditional Ones

Robert Hannah, Wotao Yin|arXiv (Cornell University)|2017. 08. 17.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 9

한 줄 요약

이 논문은 대규모 최적화에서 비동기-병렬 알고리즘, 예를 들어 ARock와 같은 알고리즘이 동기 알고리즘을 크게 능가할 수 있음을 보여주며, 수렴 품질에 거의 영향을 주지 않으면서도 초당 반복 횟수를 크게 늘릴 수 있음을 보여준다. 핵심 결과는, 오래된 정보를 사용하더라도 비동기 방법이 동기 방법과 점점 더 유사한 반복 복잡도를 유지함으로써 스케일이 클수록 상당한 속도 향상을 이룰 수 있다는 것이다.

ABSTRACT

In this paper, we consider the convergence of a very general asynchronous-parallel algorithm called ARock, that takes many well-known asynchronous algorithms as special cases (gradient descent, proximal gradient, Douglas Rachford, ADMM, etc.). In asynchronous-parallel algorithms, the computing nodes simply use the most recent information that they have access to, instead of waiting for a full update from all nodes in the system. This means that nodes do not have to waste time waiting for information, which can be a major bottleneck, especially in distributed systems. When the system has $p$ nodes, asynchronous algorithms may complete $Θ(\ln(p))$ more iterations than synchronous algorithms in a given time period ("more iterations per second"). Although asynchronous algorithms may compute more iterations per second, there is error associated with using outdated information. How many more iterations in total are needed to compensate for this error is still an open question. The main results of this paper aim to answer this question. We prove, loosely, that as the size of the problem becomes large, the number of additional iterations that asynchronous algorithms need becomes negligible compared to the total number ("same quality" of the iterations). Taking these facts together, our results provide solid evidence of the potential of asynchronous algorithms to vastly speed up certain distributed computations.

연구 동기 및 목표

• 비동기-병렬 알고리즘이 대규모 분산 최적화에서 동기 대비를 능가할 수 있는 이유를 이론적으로 설명하기.
• 오래된 정보로 인한 수렴 품질 저하와 초당 반복 횟수 증가 사이의 상호 상충 관계를 분석하기.
• 무한 대기 시간 조건 하에서도 비동기 ARock의 반복 복잡도가 동기 알고리즘과 점점 더 유사한 점근적 성질을 유지함을 증명하기.
• 큰 문제에서 오래된 데이터 사용으로 인한 손해보다는 더 높은 반복 처리량으로 인한 성능 향상이 더 크다는 것을 입증하기.
• ARock 프레임워크의 일반성 덕분에 다양한 최적화 알고리즘에 걸쳐 결과를 일반화하기.

제안 방법

• 기울기 하강, 프록시멀 기울기, ADMM 등에 적용 가능한 일반적인 비동기-병렬 고정점 반복 프레임워크인 ARock 알고리즘을 분석한다.
• 수렴을 보장하기 위해 리프시츠 상수 $ r < 1 $를 갖는 수축 연산자를 사용하여 시스템을 모델링한다.
• 수렴을 제어하기 위해 반복 횟수와 문제 파라미터에 따라 조정되는 단계 크기 함수 $ h_1(j) $ 및 $ h_2(j) $ 를 도입한다.
• 오래된 정보로 인한 오차 전파를 $ \epsilon_i = m^{1/2}\gamma^i $ 와 $ \delta_i = 2m^{1/2}\gamma^i $ 를 사용하여 라플라스 함수 접근법으로 경계한다.
• 비동기 상태에서의 반복 진행도를 정량화하는 함수 $ R(\eta^k, h_2(j(k))) $ 를 통해 수렴 속도 경계를 유도한다.
• 점점 더 큰 값에서의 점근적 분석을 적용하여 반복 복잡도가 $ \mathcal{O}(\frac{1}{1-r^2} \ln(1/\epsilon)) $ 임을 보이며, 이는 하위 항을 제외하고는 대기 시간과 무관하다.

실험 결과

연구 질문

• RQ1 대규모 시스템에서 비동기 알고리즘이 동기 알고리즘보다 초당 훨씬 더 많은 반복을 수행할 수 있는가?
• RQ2 비동기 알고리즘에서 오래된 정보를 사용할 경우, 수렴에 필요한 반복 횟수가 상당히 증가하는가?
• RQ3 무한 대기 시간 조건 하에서도 비동기 ARock의 반복 복잡도가 동기 대비와 점점 더 유사한가?
• RQ4 비동기 방법의 더 높은 반복 처리량이 오래된 데이터로 인한 수렴 속도 저하를 얼마나 상쇄하는가?
• RQ5 비동기 성능 이점의 이론적 이점은 다양한 최적화 알고리즘에 일반화될 수 있는가?

주요 결과

• 비동기 알고리즘은 $ p $ 개의 처리 노드를 사용할 때 동기 알고리즘보다 $ \Theta(\ln p) $ 배 더 많은 반복을 초당 수행할 수 있다.
• 오래된 정보를 사용하더라도, 비동기 ARock의 반복 복잡도는 무한 대기 시간 조건 하에서도 여전히 동기 버전과 점점 더 유사한 점근적 성질을 유지한다.
• ARock의 수렴 속도는 $ 1 - \frac{1}{m}(1 - r^2) \left(1 - \mathcal{O}(m^{q - 1/2}) \right) $ 로 표현되며, 문제 파rameter에 따라 달라지는 선형 수렴 속도임을 나타낸다.
• 반복 복잡도는 $ \mathcal{O}\left( \frac{1}{1 - r^2} \ln(1/\epsilon) \right) $ 로 표현되며, 이는 대기 시간과 무관하고 하위 항을 제외하고 동기 경우와 동일하다.
• 문제 크기가 커질수록 오래된 데이터로 인한 오차가 점점 무시할 수 없게 되어 점점 더 유사한 점근적 수렴 속도를 유지한다.
• 이론적 분석은 더 높은 반복 처리량으로 인한 성능 향상이 오래된 정보로 인한 손해를 압도함을 확인하며, 대규모 환경에서 극적인 속도 향상을 가능하게 한다.