[논문 리뷰] Parallel Stochastic Gradient Markov Chain Monte Carlo for Matrix Factorisation Models

Umut Şimşekli, Hazal Koptagel외 4명|arXiv (Cornell University)|2015. 06. 03.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 9

한 줄 요약

이 논문은 대규모 행렬 분해(MF) 모델에서 확장 가능한 베이지안 추론을 위한 분산 마르코프 체인 몬테카를로 방법인 병렬 스토하스틱 그래디언트 랭드비안 다이내믹스(PSGLD)를 제안한다. MF에서의 조건부 독립성을 활용하여 효율적인 데이터 부분 샘플링과 병렬 처리를 가능하게 함으로써, PSGLD는 전체 사후 분포 샘플링을 가능하게 하면서도 경사하강법과 유사한 수렴 속도를 달성하며, 데이터 크기가 64배 증가하더라도 계산 노드를 비례적으로 늘일 경우 거의 일정한 실행 시간을 유지한다.

ABSTRACT

For large matrix factorisation problems, we develop a distributed Markov Chain Monte Carlo (MCMC) method based on stochastic gradient Langevin dynamics (SGLD) that we call Parallel SGLD (PSGLD). PSGLD has very favourable scaling properties with increasing data size and is comparable in terms of computational requirements to optimisation methods based on stochastic gradient descent. PSGLD achieves high performance by exploiting the conditional independence structure of the MF models to sub-sample data in a systematic manner as to allow parallelisation and distributed computation. We provide a convergence proof of the algorithm and verify its superior performance on various architectures such as Graphics Processing Units, shared memory multi-core systems and multi-computer clusters.

연구 동기 및 목표

• 기존 MCMC 방법이 대규모 행렬 분해에 대해 계산적으로 비현실적이므로, 분산형 확장 가능한 사후 샘플링을 가능하게 하기 위해.
• 기존 분산 SGLD 방법의 통신 병목 현상과 비효율성을 MF 모델의 조건부 독립성 구조를 활용하여 극복하기 위해.
• 빅데이터 환경에서 몬테카를로 추론이 최적화 기반 방법만큼 효율적일 수 있음을 입증하기 위해.
• 실제 대규모 희소 데이터셋인 MovieLens 10M과 같은 데이터에서 모형 선택 및 예측 밀도 추정을 포함한 전체 베이지안 추론을 가능하게 하기 위해.

제안 방법

• 다양한 노드에서 부분 샘플된 데이터 파artitions에 대해 독립적인 마르코프 체인을 실행하는 분산 MCMC 프레임워크인 병렬 SGLD(PSGLD)를 제안한다.
• MF 모델의 조건부 독립성 구조를 활용하여 체계적으로 데이터를 부분 샘플링함으로써, 전체 데이터 동기화 없이도 효율적인 병렬 처리를 가능하게 한다.
• 작은 배치를 사용하여 사후 분포를 근사하기 위해 스토하스틱 그래디언트 랭드비안 다이내믹스(SGLD)를 사용하여 반복 계산 비용을 감소시킨다.
• 잠재 변수의 전역 동기화를 방지하는 통신 효율적인 프로토콜을 구현하여 분산 환경에서의 오버헤드를 줄인다.
• 비음수 행렬 분해에 투이드 분포를 적용한 모델을 포함한 다양한 MF 모델에 적용 가능하며, 밀집형 및 희소형 데이터 모두 지원한다.
• 공유 메모리 시스템, GPU, 다중 컴퓨터 클러스터에서 데이터와 잠재 변수를 동적으로 분할하여 계산 노드에 따라 알고리즘을 확장한다.

실험 결과

연구 질문

• RQ1 분산 MCMC 방법이 행렬 분해에서 전체 사후 분포 샘플링을 가능하게 하면서도 스토하스틱 그래디언트 하강법과 유사한 계산 효율성을 달성할 수 있는가?
• RQ2 행렬 분해 모델의 조건부 독립성 구조를 어떻게 활용하여 분산 MCMC에서 통신 비용을 줄일 수 있는가?
• RQ3 데이터 크기와 계산 노드 수를 비례적으로 증가시킬 경우 PSGLD의 확장성은 유지되는가?
• RQ4 대규모 MF 문제에서 PSGLD는 분산 최적화 방법(DSGD)에 비해 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ5 PSGLD는 실생활 대규모 데이터셋인 MovieLens 10M에서 모형 선택 및 예측 불확실성 포함 전체 베이지안 추론을 지원할 수 있는가?

주요 결과

• PSGLD는 MovieLens 10M 데이터셋에서 RMSE 수렴 속도가 분산 스토하스틱 그래디언트 하강법(DSGD)과 유사함을 보이며, 전체 사후 분포에서 샘플링을 하더라도 유사한 수렴 속도를 확보함을 시사한다.
• PSGLD의 실행 시간은 노드 수 증가에 따라 거의 제곱형으로 감소함(최대 90개 노드까지), 15노드 클러스터에서 총 120개 프로세스를 사용한 환경에서 강력한 확장성을 입증함.
• 데이터 크기를 64배 증가시킨(약 1000만에서 약 6400만 개의 비영 요소로) 상황에서도, 노드 수를 120으로 비례적으로 늘일 경우 PSGLD는 거의 일정한 실행 시간을 유지함으로써 강력한 데이터 및 컴퓨팅 확장성 확보.
• 120개 노드에서 통신 비용이 주요 요소로 부상하여 약간의 실행 시간 증가가 발생함을 확인함으로써, 네트워크 오버헤드로 인해 노드 수에 실질적인 상한선이 존재함을 시사함.
• 이 방법은 대규모 MF 모델에서 효율적인 베이지안 추론을 가능하게 하며, MCMC가 빅데이터에 너무 느리다는 인식을 도전하고, PSGLD가 최적화 기반 접근법에 대한 실질적인 대안이 될 수 있음을 제시함.