[논문 리뷰] Primitives for Dynamic Big Model Parallelism

Seunghak Lee, Jin Kyu Kim외 4명|arXiv (Cornell University)|2014. 06. 18.

Graph Theory and Algorithms참고 문헌 27인용 수 15

한 줄 요약

이 논문은 대규모 기계학습 모델의 효율적이고 확장 가능한 훈련을 위해 분산된 워커 간 모델 변수를 분할하는 데 사용되는 동적 모델 병렬 원리인 스케줄, 푸시, 풀을 포함하는 STRADS 프레임워크를 소개한다. 이는 YahooLDA 및 GraphLab과 같은 기준 모델 대비 더 빠른 수렴 속도와 더 큰 모델 확장성을 달성하며, 주제 모델링, 행렬 분해, 라소 회귀 등에서 최대 2,000억 개의 파라미터를 가진 모델에 특히 효과적이다.

ABSTRACT

When training large machine learning models with many variables or parameters, a single machine is often inadequate since the model may be too large to fit in memory, while training can take a long time even with stochastic updates. A natural recourse is to turn to distributed cluster computing, in order to harness additional memory and processors. However, naive, unstructured parallelization of ML algorithms can make inefficient use of distributed memory, while failing to obtain proportional convergence speedups - or can even result in divergence. We develop a framework of primitives for dynamic model-parallelism, STRADS, in order to explore partitioning and update scheduling of model variables in distributed ML algorithms - thus improving their memory efficiency while presenting new opportunities to speed up convergence without compromising inference correctness. We demonstrate the efficacy of model-parallel algorithms implemented in STRADS versus popular implementations for Topic Modeling, Matrix Factorization and Lasso.

연구 동기 및 목표

• 단일 머신의 메모리 용량을 초과하는 수십억 개의 파라미터를 가진 대규모 기계학습 모델을 훈련하는 데 도전하는 것.
• 나이브 데이터 병렬 및 정적 모델 병렬 접근 방식에서 발생하는 비효율성으로 인한 나쁜 확장성 또는 알고리즘 발산 문제를 해결하는 것.
• 모델 변수에 대한 세밀한 제어 및 사용자 정의 스케줄링 및 업데이트 전략을 통해 종속성을 줄이고 수렴 속도를 향상시키는 것.
• 주제 모델링, 행렬 분해, 라소와 같은 다양한 기계학습 워크로드에 적용 가능한 일반 목적의 프로그래머블 프레임워크를 제공하는 것.
• 동적 스케줄링 및 변수 분할이 정확성 손실 없이 메모리 효율성과 수렴 성능을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 스케줄(업데이트할 모델 변수를 선택함), 푸시(워커에서 국소 업데이트를 계산함), 풀(업데이트를 집계하고 자동 동기화를 통해 적용함)라는 세 가지 핵심 원리를 도입함.
• 중앙 스케줄러가 변수 업데이트를 관리하는 스타 아키텍처를 사용하며, 각 풀 이후 자동 동기화를 통해 일관성을 확보함.
• 변수 중요도 및 종속성 분석에 기반한 동적 스케줄링 전략을 구현함: LDA에는 단어 순환, MF에는 라운드로빈, Lasso에는 동적 우선순위를 적용함.
• 분산 워커 간 모델 변수를 분할하여 메모리 압박을 줄이고 전체 모델 복제를 방지함으로써 이전 시스템보다 더 큰 모델을 지원함.
• 좌표 강하와 축약된 지브스 샘플링을 STRADS 프레임워크 내부에서 적용하여 수렴성을 유지하면서도 병렬화를 가능하게 함.
• 사용자가 다양한 기계학습 알고리즘에 맞게 맞춤형 스케줄링 및 업데이트 로직을 정의할 수 있도록 확장 가능한 시스템 설계를 함.

실험 결과

연구 질문

• RQ1 프로그래머블 프레임워크에서 동적 스케줄링 원리를 활용하면 대규모 기계학습 모델의 수렴 속도와 확장성 향상에 기여할 수 있는가?
• RQ2 정적 또는 데이터 병렬 접근 방식과 비교해 동적 변수 분할 및 스케줄링은 병렬화 오차와 동기화 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 STRADS는 주제 모델링이나 고계수 행렬 분해와 같은 수백십억 개의 파라미터를 가진 모델에 얼마나 확장될 수 있는가?
• RQ4 라소와 같은 경우에서 모델 변수의 동적 우선순위 부여가 정적 또는 라운드로빈 스케줄링보다 더 빠른 수렴을 이끌 수 있는가?
• RQ5 STRADS는 YahooLDA나 GraphLab과 같은 기존 시스템보다 더 큰 모델 크기를 지원하면서도 수렴 정확성과 목적 함수 품질을 유지할 수 있는가?

주요 결과

• STRADS는 2,200만 개의 바이그램과 10,000개의 주제(2000억 개의 파라미터)를 가진 주제 모델을 성공적으로 훈련시켰으며, 이는 YahooLDA의 5,000개 주제 제한을 크게 초월한다.
• 행렬 분해 작업에서는 48만 × 10만 행렬에 대해 질량 2,000까지 확장되었으며, 이는 GraphLab의 이전 제한인 질량 < 80을 뛰어넘는 성과이다.
• 1억 개의 특징을 가진 라소 문제에서 STRADS는 동적 우선순위 스케줄링을 사용해 약 250초 만에 최적 목적 함수에 수렴했으며, Lasso-RR 대비 빠른 성능을 보였다.
• STRADS는 거의 선형 확장성을 달성했다: LDA 실험에서 머신 수가 두 배로 증가할수록 수렴 시간이 거의 반으로 줄었으며, 강력한 수평 확장성 잠재력을 입증했다.
• 지능적인 변수 분할 및 스케줄링 덕분에 병렬화 오차와 동기화 오버헤드를 줄여 정적 또는 데이터 병렬 기준 모델 대비 더 빠른 수렴을 달성했다.
• 모든 작업에서 기준 모델 대비 더 높은 목적 함수 값을 유지함으로써, 성능 향상은 수렴의 희생이 아니라 더 나은 알고리즘 설계 덕분임을 확인했다.