[논문 리뷰] Extreme Stochastic Variational Inference: Distributed and Asynchronous

Jiong Zhang, Parameswaran Raman외 4명|arXiv (Cornell University)|2016. 05. 31.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 3

한 줄 요약

이 논문은 대규모 혼합 모델에 대한 확장 가능한 변분 추론을 가능하게 하는 분산형, 비동기형, 락 없는 알고리즘인 극단적 스토하스틱 변분 추론(ESVI)을 제안한다. 이 알고리즘은 동시에 데이터 병렬성과 모델 병렬성을 달성하여, 대규모 데이터셋에서도 빠른 속도와 높은 해의 품질을 확보한다. 특히 UMBC-3B(30억 토큰, 300만 어휘)와 같은 거대한 데이터셋에서 기존의 VI 및 SVI보다도 벽시계 시간과 해의 품질 면에서 뛰어나며, 고토픽 모델의 계산 속도를 높이고 메모리 사용량을 줄이기 위해 TOPK 변형도 도입한다.

ABSTRACT

Stochastic variational inference (SVI), the state-of-the-art algorithm for scaling variational inference to large-datasets, is inherently serial. Moreover, it requires the parameters to fit in the memory of a single processor; this is problematic when the number of parameters is in billions. In this paper, we propose extreme stochastic variational inference (ESVI), an asynchronous and lock-free algorithm to perform variational inference for mixture models on massive real world datasets. ESVI overcomes the limitations of SVI by requiring that each processor only access a subset of the data and a subset of the parameters, thus providing data and model parallelism simultaneously. We demonstrate the effectiveness of ESVI by running Latent Dirichlet Allocation (LDA) on UMBC-3B, a dataset that has a vocabulary of 3 million and a token size of 3 billion. In our experiments, we found that ESVI not only outperforms VI and SVI in wallclock-time, but also achieves a better quality solution. In addition, we propose a strategy to speed up computation and save memory when fitting large number of topics.

연구 동기 및 목표

• 단일 머신의 메모리 용량을 초과하는 수십억 개의 문서와 매개변수를 처리할 때 기존의 변분 추론(VI) 및 스토하스틱 변분 추론(SVI)의 확장성 한계를 해결하기 위해.
• 모든 매개변수를 동기적으로 업데이트하는 대신, 각 프로세서가 국소 및 전역 변수의 부분 집합만 업데이트할 수 있도록 허용하여 혼합 모델에서 데이터 병렬성과 모델 병렬성을 동시에 실현하기 위해.
• 멀티코어 및 분산 환경에서 비용이 많이 드는 동기화 오버헤드를 피하기 위해 락 없는 비동기 알고리즘을 설계하여 계산 효율성을 향상시키기 위해.
• UMBC-3B, PubMed, NY Times와 같은 실제 대규모 데이터셋에서 기존 방법이 메모리 및 확장성 제약으로 실패하는 상황에서 ESVI의 효과성을 입증하기 위해.

제안 방법

• 각 프로세서가 데이터의 부분 집합과 매개변수의 부분 집합만 접근하는 새로운 업데이트 전략을 도입하여, 동시에 데이터 병렬성과 모델 병렬성을 달성한다.
• 소유자-계산 방식을 적용하여 비동기 및 락 없는 업데이트를 지원하며, 전역 동기화가 필요 없고 통신 오버헤드를 줄인다.
• 전역 매개변수가 '노마드처럼' 워커 간에 이동할 수 있도록 허용하여, 부분 업데이트가 이루어져도 매개변수 혼합과 수렴을 보장한다.
• 각 워커가 주로 사용하는 토픽의 상위-k개만 저장하는 TOPK 전략을 사용하여, 고토픽 모델의 경우 메모리 사용량을 크게 줄이고 계산 속도를 높인다.
• 실제 데이터셋(예: UMBC-3B)에서의 실험을 위해 가우시안 혼합 모델(GMM)과 확률적 디리클레 분할(LDA)에 적용한다.
• 국소 변분 업데이트의 분리 가능한 구조를 활용하여, 데이터와 매개변수의 부분 집합에 대해 스트로스틱 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 단일 머신의 메모리 용량을 초과하는 100억 토큰 이상의 데이터셋과 수백만 어휘를 가진 모델에서 변분 추론을 확장할 수 있는가?
• RQ2 동기화 블로킹이 발생하지 않도록 하면서도, 스토하스틱 변분 추론에서 데이터 병렬성과 모델 병렬성을 효율적으로 통합할 수 있는가?
• RQ3 비동기형, 락 없는 알고리즘이 분산 환경에서 높은 처리량을 달성하면서도 수렴성과 해의 품질을 유지할 수 있는가?
• RQ4 대규모 LDA 모델에서 일부 토픽과 매개변수만 선택적으로 업데이트함으로써 얻을 수 있는 성능 향상은 무엇인가?
• RQ5 TOPK 전략은 고토픽 LDA 추론에서 메모리 효율성과 계산 속도를 어떻게 향상시키는가?

주요 결과

• UMBC-3B 데이터셋(30억 토큰, 300만 어휘)에서 ESVI-LDA는 분산 VI보다 더 높은 ELBO를 달성했으며, 상당히 더 빠른 속도를 보여, 산업 규모의 데이터에 대한 확장성을 입증했다.
• PubMed와 UMBC-3B에서의 다중 머신, 다중 코어 환경 실험에서 ESVI-LDA는 수렴 속도와 최종 ELBO 면에서 분산 VI를 모두 앞섰으며, ESVI-LDA-TOPK가 가장 뛰어난 성능을 보였다.
• Enron과 NY Times 데이터셋에서 ESVI-LDA는 VI와 유사한 테스트 퍼플렉서티를 달성했지만, 벽시계 시간이 상당히 단축되었으며, 코어 수가 증가할수록 더욱 두드러졌다.
• TOPK 변형은 특히 고토픽 모델에서 메모리 사용량을 줄이고 계산 속도를 높였으며, 모든 다중 코어 및 다중 머신 환경에서 가장 빠른 수렴 속도를 기록했다.
• 단일 머신 환경에서도 ESVI-GMM은 중간 크기의 데이터셋에서도 VI와 SVI를 모두 초월하는 ELBO 향상을 보였다.
• ESVI의 비동기형, 락 없는 설계 덕분에 32개 노드와 512개 코어에서 고처리량과 확장성을 확보했으며, 극단적 규모의 추론에 실용적임을 확인했다.