[논문 리뷰] LightLDA: Big Topic Models on Modest Compute Clusters

Jinhui Yuan, Fei Gao외 7명|arXiv (Cornell University)|2014. 12. 04.

Topic Modeling참고 문헌 1인용 수 15

한 줄 요약

LightLDA는 표준 8대 머신에서 100만 개의 토픽과 100만 개의 어휘어휘를 가진 거대 주제 모델(1조 개의 파라미터)을 훈련할 수 있도록 하며, 새로운 O(1) 메트로폴리스-해스팅스 샘플러, 구조 인지 모델 병렬성, 그리고 차별적 데이터 구조를 활용한다. 이는 최신 기술 수준의 수렴 속도와 메모리 효율성을 달성하여, 훈련 시간을 8대 머신 기준 180시간에서 24대 머신 기준 60시간으로 단축시켜, 거대한 1조 파라미터 모델을 보편적인 클러스터에서도 구현 가능하게 한다.

ABSTRACT

When building large-scale machine learning (ML) programs, such as big topic models or deep neural nets, one usually assumes such tasks can only be attempted with industrial-sized clusters with thousands of nodes, which are out of reach for most practitioners or academic researchers. We consider this challenge in the context of topic modeling on web-scale corpora, and show that with a modest cluster of as few as 8 machines, we can train a topic model with 1 million topics and a 1-million-word vocabulary (for a total of 1 trillion parameters), on a document collection with 200 billion tokens -- a scale not yet reported even with thousands of machines. Our major contributions include: 1) a new, highly efficient O(1) Metropolis-Hastings sampling algorithm, whose running cost is (surprisingly) agnostic of model size, and empirically converges nearly an order of magnitude faster than current state-of-the-art Gibbs samplers; 2) a structure-aware model-parallel scheme, which leverages dependencies within the topic model, yielding a sampling strategy that is frugal on machine memory and network communication; 3) a differential data-structure for model storage, which uses separate data structures for high- and low-frequency words to allow extremely large models to fit in memory, while maintaining high inference speed; and 4) a bounded asynchronous data-parallel scheme, which allows efficient distributed processing of massive data via a parameter server. Our distribution strategy is an instance of the model-and-data-parallel programming model underlying the Petuum framework for general distributed ML, and was implemented on top of the Petuum open-source system. We provide experimental evidence showing how this development puts massive models within reach on a small cluster while still enjoying proportional time cost reductions with increasing cluster size, in comparison with alternative options.

연구 동기 및 목표

• 일반적인 컴퓨팅 클러스터에서 산업 수준의 클러스터가 아닌, 수조 개의 파라미터를 가진 거대 주제 모델을 훈련할 수 있도록 하는 것.
• 대부분의 연구자와 실무자들이 접근하기 어려운 대규모 머신러닝 시스템의 높은 비용 문제를 해결하는 것.
• 모델 품질을 희생시키지 않으면서 분산 LDA 추론에서 높은 수렴 속도와 메모리 효율성을 달성하는 것.
• 효율적인 알고리즘 설계와 시스템 최적화가 큰 모델을 작은 클러스터에서도 이용 가능하게 만들 수 있음을 보여주는 것.

제안 방법

• 모델 크기에 영향을 받지 않는 O(1) 평균 메트로폴리스-해스팅스 샘플링 알고리즘을 제안하며, 제안 확률이 잘 설계되어 기존의 지브스 샘플러보다 더 빠른 수렴 속도를 달성한다.
• 주제 모델 내부의 종속성을 고려한 구조 인지 모델 병렬성 기법을 적용하여 메모리 및 통신 오버헤드를 최소화한다.
• 고주파어휘와 저주파어휘를 분리하여 최적의 메모리 사용과 높은 추론 속도를 확보하는 차별적 데이터 구조를 도입한다.
• 파라미터 서버를 통한 유한 비동기 데이터 병렬 처리 기법을 활용하여 거대한 데이터의 효율적 분산 처리를 가능하게 한다.
• Petuum 프레임워크를 기반으로 시스템을 구현하여, 일반적인 분산 머신러닝을 위한 모델-및-데이터 병렬 프로그래밍 모델을 활용한다.
• 문서와 어휘 제안을 번갈아가며 사용하는 사이클 제안 기법을 도입하여 모델 공간 탐색을 향상시키고, 문서 및 어휘 표현 균형을 확보한다.

실험 결과

연구 질문

• RQ1 1조 개의 파라미터를 가진 주제 모델을 단지 8대의 머신 클러스터에서 효율적으로 훈련시킬 수 있는가?
• RQ2 O(1) 메트로폴리스-해스팅스 샘플러가 수렴 속도와 메모리 효율성 면에서 최신 기술 수준의 지브스 샘플러를 능가할 수 있는가?
• RQ3 대규모 주제 모델에서 통신 및 메모리 사용을 최소화하기 위해 모델 병렬성은 어떻게 설계할 수 있는가?
• RQ4 고주파어휘와 저주파어휘를 위한 하이브리드 데이터 구조는 높은 성능을 유지하면서도 거대한 모델의 메모리 저장을 가능하게 할 수 있는가?
• RQ5 유한 비동기 데이터 병렬 처리 방식은 클러스터 크기가 증가함에 따라 비례하는 성능 향상을 보장할 수 있는가? 동시에 수렴 성능을 유지할 수 있는가?

주요 결과

• LightLDA는 8대의 머신을 사용하여 2000억 토큰의 데이터를 기반으로 100만 토픽, 100만 어휘 LDA 모델(1조 파라미터)을 훈련하여 180시간 내에 완료했다.
• 시스템은 1대의 20코어 머신당 시간당 5000만 건의 문서(각각 200 토큰)를 처리하는 처리량을 달성하여 이전 시스템을 능가했다.
• LightLDA의 O(1) 메트로폴리스-해스팅스 샘플러는 최신 기술 수준의 지브스 샘플러보다 실시간 수렴 속도가 거의 10배 빠르게 작동했다.
• LightLDA의 사이클 제안 기법은 금표 기준인 SparseLDA와 거의 동일한 모델 품질을 달성하면서도 훨씬 더 빠른 속도를 기록했다.
• 훈련 시간은 클러스터 크기에 비례하여 감소하여, 8대 머신 기준 180시간에서 24대 머신 기준 60시간으로 단축되었다.
• 차별적 데이터 구조 덕분에 모델가 메모리에 완전히 올라가면서도 높은 추론 속도를 유지했으며, 동일한 구조를 사용할 경우 성능 저하를 피할 수 있었다.