[논문 리뷰] Distributed Machine Learning via Sufficient Factor Broadcasting

Pengtao Xie, Jin Kyu Kim외 5명|arXiv (Cornell University)|2014. 09. 19.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 14

한 줄 요약

이 논문은 매개변수 행렬이 랭크-1 행렬인 행렬-매개변수 모델을 위한 통신 효율적인 분산 학습 프레임워크인 충분 통계 브로드캐스팅(Sufficient Factor Broadcasting, SFB)을 제안한다. 매개변수 갱신이 랭크-1 행렬임을 활용해, 전체 갱신 행렬을 복원하는 데 필요한 두 개의 충분 통계 요소(벡터)만 브로드캐스트함으로써, 통신 비용을 매개변수 차원에 대해 이차에서 선형으로 감소시켜, 수렴성과 정확성에 손상을 주지 않은 채 대규모 기계학습 환경에서 더 빠른 동기화를 가능하게 한다.

ABSTRACT

Matrix-parametrized models, including multiclass logistic regression and sparse coding, are used in machine learning (ML) applications ranging from computer vision to computational biology. When these models are applied to large-scale ML problems starting at millions of samples and tens of thousands of classes, their parameter matrix can grow at an unexpected rate, resulting in high parameter synchronization costs that greatly slow down distributed learning. To address this issue, we propose a Sufficient Factor Broadcasting (SFB) computation model for efficient distributed learning of a large family of matrix-parameterized models, which share the following property: the parameter update computed on each data sample is a rank-1 matrix, i.e., the outer product of two "sufficient factors" (SFs). By broadcasting the SFs among worker machines and reconstructing the update matrices locally at each worker, SFB improves communication efficiency --- communication costs are linear in the parameter matrix's dimensions, rather than quadratic --- without affecting computational correctness. We present a theoretical convergence analysis of SFB, and empirically corroborate its efficiency on four different matrix-parametrized ML models.

연구 동기 및 목표

• 대규모 기계학습에서 수백만 개의 클래스와 고차원 특징을 가진 모델에서 발생하는 큰 매개변수 행렬 동기화의 높은 통신 비용을 해결하기 위해.
• 매개변수 행렬을 가진 모델에서 공통적인 구조적 특성인, 확률적 경사 하강법 갱신이 두 벡터의 외적(outer product)으로 이루어진 랭크-1 행렬임을 규명하기 위해.
• 전체 매개변수 행렬이나 갱신 행렬 대신 충분 통계 요소만 전송하는 통신 효율적인 계산 모델을 설계하기 위해.
• 제안된 방법이 SGD 및 SDCA와 같은 표준 최적화 알고리즘에서 계산의 정확성과 수렴 보장을 유지하는지 보장하기 위해.
• 실제 분산 환경에서 다양한 매트릭스-매개변수 모델에 대해 SFB의 실용적 효율성과 확장성을 입증하기 위해.

제안 방법

• 매개변수 갱신 시 전체 행렬 동기화를 대체해, 각 갱신마다 두 개의 저차원 벡터(충분 통계 요소)를 브로드캐스트하는 Sufficient Factor Broadcasting(SFB) 계산 모델을 제안한다.
• 모든 랭크-1 갱신 행렬 $\Delta\mathbf{W} = \mathbf{u}\mathbf{v}^T$ 가 충분 통계 요소 $\mathbf{u}$ 와 $\mathbf{v}$ 로 정확히 재구성될 수 있음을 활용하여, $J \times D$ 크기의 전체 행렬 전송을 피한다.
• 워커들이 충분 통계 요소를 브로드캐스트하고 로컬에서 갱신 행렬을 재구성하여 집계하는 피어 투 피어 분산 프레임워크에 SFB를 구현한다.
• 기본 최적화 알고리즘으로 확률적 경사 하강법(SGD)과 확률적 이중좌표상승법(SDCA)을 사용하며, 이들은 연구된 모델에서 자연스럽게 랭크-1 갱신을 생성한다.
• 이론적 분석을 통해 SFB가 기울기의 기대 노름을 제한하고, 거의 확실히 정적점에 수렴함을 보여 이론적으로 수렴 성질을 유지함을 입증한다.
• 기울기의 기대 제곱 노름이 $O\left(\frac{\log C}{\sqrt{C}}\right)$ 의 속도로 감소함을 유도하여, 표준 가정 하에 정적점으로 수렴함을 나타내는 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 매개변수 갱신의 저랭크 구조를 활용함으로써, 매트릭스-매개변수 모델의 분산 학습에서 통신 비용을 크게 줄일 수 있는가?
• RQ2 전체 갱신 행렬 대신 충분 통계 요소(벡터)만 브로드캐스트할 경우, SGD 및 SDCA와 같은 표준 최적화 알고리즘의 수렴성과 정확성이 유지되는가?
• RQ3 이상적이고 지연이 제한된 통신 모델 하에서 SFB 프레임워크의 이론적 수렴 보장은 무엇인가?
• RQ4 대규모 기계학습 워크로드에서 전통적인 전체 행렬 동기화 대비 SFB는 실질적으로 어떻게 확장되는가?
• RQ5 SFB는 다중클래스 로지스틱 회귀, 희소 코딩, 신경망과 같은 다양한 매트릭스-매개변수 모델에 통일적으로 적용될 수 있는가?

주요 결과

• SFB는 갱신당 통신 비용을 $O(JD)$ 에서 $O(J + D)$ 로 줄여 매개변수 차원에 대해 선형 스케일링을 달성함으로써, 동기화 효율성을 크게 향상시킨다.
• 이론적 분석을 통해 SFB가 거의 확실히 정적점으로 수렴하며, 기대 기울기 노름이 $O\left(\frac{\log C}{\sqrt{C}}\right)$ 의 속도로 감소함을 입증하여, 표준 가정 하에서 수렴함을 확인한다.
• 네 가지 매트릭스-매개변수 모델(다중클래스 로지스틱 회귀 및 희소 코딩 포함)에 대한 실증 평가에서 SFB가 통신 오버헤드를 줄이고도 유사하거나 더 빠른 학습 속도를 달성함을 확인한다.
• 각 워커에서 충분 통계 요소로부터 전체 갱신 행렬을 정확히 재구성함으로써 계산의 정확성이 유지되어 알고리즘의 신뢰성과 일관성이 보장된다.
• 이미지넷에서 325만 개의 클래스를 가진 대규모 문제에서도 SFB는 전체 행렬 동기화가 수십 GB의 매개변수 행렬로 인해 비용이 너무 많이 들기 때문에 불가능한 상황에서도 확장 가능한 학습을 가능하게 한다.
• 수렴 경계 분석을 통해 $\liminf_{c\to\infty} \mathbb{E}\|\sum_{p=1}^{P} \nabla F_p(\mathbf{W}_p^c)\| = 0$ 이 성립함을 보여, 알고리즘이 높은 확률로 점점 정적점에 도달함을 증명한다.