[논문 리뷰] Amortized Analysis on Asynchronous Gradient Descent

Yun Kuen Cheung, Richard Cole|arXiv (Cornell University)|2014. 11. 29.

Optimization and Search Problems참고 문헌 21인용 수 9

한 줄 요약

이 논문은 비동기 경사 하강법(AGD)에 대한 새로운 암시적 분석 프레임워크를 제안하며, 나쁜 업데이트와 최소한의 통신을 허용함으로써 코어 수에 비례한 선형적 속도 향상을 가능하게 한다. 연속 시간 기반 타이밍 모델과 헤시안 기반 스텝 사이즈 선택을 통해 볼록 함수에서 수렴을 보장하며, 대규모 문제인 대칭 양의 정부호 선형 시스템과 분리 가능한 볼록 최소화 문제에 적용 가능하다.

ABSTRACT

Gradient descent is an important class of iterative algorithms for minimizing convex functions. Classically, gradient descent has been a sequential and synchronous process. Distributed and asynchronous variants of gradient descent have been studied since the 1980s, and they have been experiencing a resurgence due to demand from large-scale machine learning problems running on multi-core processors. We provide a version of asynchronous gradient descent (AGD) in which communication between cores is minimal and for which there is little synchronization overhead. We also propose a new timing model for its analysis. With this model, we give the first amortized analysis of AGD on convex functions. The amortization allows for bad updates (updates that increase the value of the convex function); in contrast, most prior work makes the strong assumption that every update must be significantly improving. Typically, the step sizes used in AGD are smaller than those used in its synchronous counterpart. We provide a method to determine the step sizes in AGD based on the Hessian entries for the convex function. In certain circumstances, the resulting step sizes are a constant fraction of those used in the corresponding synchronous algorithm, enabling the overall performance of AGD to improve linearly with the number of cores. We give two applications of our amortized analysis.

연구 동기 및 목표

• 업데이트가 비개선적이거나 지연될 수 있는 비동기 경사 하강법에서 수렴 문제를 해결한다.
• 대규모 머신 러닝을 위한 분산 경사 하강법에서 통신 및 동기화 오버헤드를 줄인다.
• 동기화 없이도 지속적이고 비동기적인 업데이트를 허용하는 타이밍 모델을 개발하여 확장성을 향상시킨다.
• 동기 알고리즘에서 유도된 스텝 사이즈 비례로 코어 수에 따라 선형 성능 향상을 달성한다.
• 대칭 양의 정부호 선형 시스템과 분리 가능한 볼록 함수 최소화 문제의 두 클래스에 대해 수렴에 대한 이론적 보장을 제공한다.

제안 방법

• 각 코어가 자체 속도로 독립적으로 업데이트하는 연속 시간 타이밍 모델을 제안하여 동기화 대기 시간을 제거한다.
• 지연된 정보가 수렴을 방해하지 않도록 하기 위해 유한한 비동기성 가정을 도입한다.
• 기존 연구에서 반드시 개선되는 단계를 요구하는 것과 달리, 암시적 분석을 통해 목적 함수 값을 증가시키는 개별 업데이트를 수용한다.
• 볼록 함수의 헤시안 요소를 기반으로 스텝 사이즈를 유도하여, 지연된 기울기 존재하에서도 안정성과 수렴을 보장한다.
• 대칭 양의 정부호 선형 시스템 해법과 이차 정규화가 적용된 분리 가능한 볼록 함수 최소화 문제에 이 방법을 적용한다.
• 보완적-CES 또는 레온티에프 유용도 함수를 가진 페어시어 마켓에서의 비동기 타톤맹 동역학을 분석하여 시장 균형에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 개별 업데이트가 목적 함수 값을 일시적으로 증가시킬 수 있을 때 비동기 경사 하강법이 수렴할 수 있는가?
• RQ2 수렴을 유지하면서도 분산 경사 하강법에서 통신 및 동기화 오버헤드를 최소화할 수 있는가?
• RQ3 지연된 기울기가 존재하는 비동기 설정에서 수렴을 보장하는 스텝 사이즈 규칙은 무엇인가?
• RQ4 제안된 AGD는 대규모 볼록 최적화 문제에서 코어 수에 비례해 선형적 속도 향상을 달성할 수 있는가?
• RQ5 특정 유용도 함수를 가진 페어시어 마켓에서 비동기 타톤맹은 시장 균형에 수렴하는가?

주요 결과

• 암시적 분석은 목적 함수 값을 증가시키는 나쁜 업데이트를 수용할 수 있어, 이전 연구에서 반드시 개선되는 단계를 요구하는 것보다 더 현실적인 모델을 제공한다.
• 헤시안 요소에서 유도된 스텝 사이즈는 동기 알고리즘 대비 일정한 비율을 유지하며, 이는 코어 수에 비례한 선형적 속도 향상을 가능하게 한다.
• 제안된 타이밍 모델 하에서 대칭 양의 정부호 선형 시스템 $Ap = b$에 대해 알고리즘이 최적 해로 수렴한다.
• 문제 클래스 $\sum_{i=1}^{n}f_{i}(p_{i}) + \frac{1}{2}\|Ap-b\|^{2}$ 에서는 최소한의 통신과 동기화 오버헤드 없이도 수렴을 보장한다.
• 보완적-CES 또는 레온티에프 유용도 함수를 가진 페어시어 마켓에서 비동기 타톤맹의 변종이 시장 균형에 수렴한다.
• 이론적 경계는 오래된 기울기에서 오는 오차가 암시적 분석을 통해 제어됨을 보여주며, 지속적인 지연이 있더라도 발산을 방지한다.