[논문 리뷰] HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

Feng Niu, Benjamin Recht외 2명|arXiv (Cornell University)|2011. 06. 28.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 1,224

한 줄 요약

Hogwild!는 공유 메모리에서 동시 접근을 허용하는 잠금 없는 병렬 확률적 경사 하강법(SGD) 알고리즘을 제안하며, 기계 학습 문제의 희소성 특성을 활용해 동기화 없이 거의 선형에 가까운 성능 향상을 달성한다. 동시로 실행되는 프로세서들이 공유 메모리에 무작위로 업데이트를 수행함으로써 락 오버헤드를 줄이며, SVM, 행렬 완성, 그래프 컷 등의 희소 작업에서 락이 있는 대안보다 최대 한 단계 빠른 성능을 보인다.

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular algorithm that can achieve state-of-the-art performance on a variety of machine learning tasks. Several researchers have recently proposed schemes to parallelize SGD, but all require performance-destroying memory locking and synchronization. This work aims to show using novel theoretical analysis, algorithms, and implementation that SGD can be implemented without any locking. We present an update scheme called HOGWILD! which allows processors access to shared memory with the possibility of overwriting each other's work. We show that when the associated optimization problem is sparse, meaning most gradient updates only modify small parts of the decision variable, then HOGWILD! achieves a nearly optimal rate of convergence. We demonstrate experimentally that HOGWILD! outperforms alternative schemes that use locking by an order of magnitude.

연구 동기 및 목표

• 동기화 및 락 오버헤드로 인해 병렬 컴퓨팅에서 확률적 경사 하강법(SGD)의 확장성에 제약이 발생하는 문제를 해결하기 위해.
• 최적화 문제가 희소할 경우, 잠금 없이도 병렬 SGD를 효과적으로 구현할 수 있음을 보여주기 위해.
• 실제 기계 학습 응용 프로그램에서 기존의 락이 있는 병렬 SGD 기법보다 뚜렷한 성능 향상을 달성하기 위해.
• 희소성 조건 하에서 잠금 없는 접근 방식의 수렴성 및 성능 향상 특성에 대한 이론적 근거를 제공하기 위해.
• 계산적으로 비용이 많이 드는 경사 하강 단계가 존재하더라도, Hogwild!가 라운드로빈 및 락 기반 방법보다 뛰어난 성능을 유지할 수 있음을 보여주기 위해.

제안 방법

• Hogwild!는 여러 프로세서가 동기화 없이 공유 메모리에 동시에 접근하고 수정하는 잠금 없는 업데이트 전략을 사용한다.
• 알고리즘은 각 확률적 경사 하강 업데이트가 결정 변수의 소수의 부분집합에만 영향을 주는 최적화 문제의 희소성에 의존한다.
• 비용 함수가 분리 가능하고 희소하다고 가정하며, 이는 작은 변수 부분집합에 대한 함수들의 합으로 표현되며, 초그래프 구조를 유도한다.
• 이 방법은 희소성 덕분에 메모리 오버라이트가 드물게 발생하며, 발생하더라도 오차가 무시할 수 있을 정도로 작다는 사실을 활용한다.
• 이론적 분석은 희소성 조건 하에서, 상수 단계 크기 조건 하에서도 Hogwild!가 거의 최적의 수렴 속도를 달성함을 보여준다.
• 실증 평가에서는 실제 데이터셋을 대상으로 Hogwild!를 락이 있는 방법과 라운드로빈 방식과 비교하여, 여러 코어에서의 벽시계 시간과 성능 향상도를 측정한다.

실험 결과

연구 질문

• RQ1 공유 메모리 시스템에서 동기화나 락 없이도 확률적 경사 하강법을 효과적으로 병렬화할 수 있는가?
• RQ2 동시 메모리 업데이트가 발생하더라도, 잠금 없는 SGD 접근 방식이 수렴성과 성능을 유지할 수 있는 조건은 무엇인가?
• RQ3 최적화 문제의 희소성이 잠금 없는 SGD의 효과성과 내성에 어떤 영향을 미치는가?
• RQ4 희소 데이터 구조를 가진 실세계 기계 학습 작업에서 Hogwild!는 거의 선형 성능 향상을 달성할 수 있는가?
• RQ5 특히 경사 하강 계산이 느릴 경우, Hogwild!는 락이 있는 방법과 라운드로빈 방식보다 성능에서 뛰어나게 작용하는가?

주요 결과

• 그래프 컷 문제에서 10개 스레드를 사용할 경우, Hogwild!는 네 배 이상의 성능 향상을 달성했고, 라운드로빈(RR)은 순차 버전보다 두 배 느렸다.
• 느린 경사 하강 계산이 필요한 DBLife 엔티티 인식 문제에서, 10개 코어를 사용할 경우 Hogwild!는 아홉 배의 성능 향상을 달성했고, RR은 다섯 배에 그쳤다.
• RCV1 SVM 데이터셋에서, 상대적으로 높은 ρ 값이 존재함에도 불구하고 Hogwild!는 뚜렷한 성능 향상을 보였으며, 이는 희소성이 중간 정도일 때에도 강건함을 보여준다.
• 경사 하강 계산 지연이 1밀리초를 초과할 경우, RR과 Hogwild!는 유사한 성능 향상을 보였지만, 모든 지연 수준에서 Hogwild!는 벽시계 시간이 더 낮게 유지되었다.
• 실제로 모든 락 기반 및 라운드로빈 방식보다 Hogwild!가 뛰어난 성능을 보였으며, 이론적 기대를 초월하는 우수한 확장성을 보였다.
• 이론적 분석은 Hogwild!에서 상수 단계 크기 방법이 지수적 백오프를 통해 느린 1/√k 수렴 속도를 피하고, 안정적인 1/k 수렴 속도를 달성할 수 있음을 확인했다.