[논문 리뷰] Faster and Cheaper: Parallelizing Large-Scale Matrix Factorization on GPUs

Wei Tan, Liangliang Cao외 1명|arXiv (Cornell University)|2016. 03. 11.

Matrix Theory and Algorithms참고 문헌 26인용 수 6

한 줄 요약

이 논문은 단일 또는 다중 GPU를 사용하여 대규모 행렬 분해를 가속화하기 위해 메모리 접근 최적화, 데이터 및 모델 병렬성 통합, 그리고 토폴로지 인식형 병렬 감소를 적용한 CUDA 기반 행렬 분해 라이브러리인 cuMF를 제시한다. 단일 머신에 네 대의 GPU를 사용할 때, cuMF는 최신 분산 CPU 시스템 대비 6–10×의 속도 향상과 33–100×의 비용 효율성 향상을 달성한다.

ABSTRACT

Matrix factorization (MF) is employed by many popular algorithms, e.g., collaborative filtering. The emerging GPU technology, with massively multicore and high intra-chip memory bandwidth but limited memory capacity, presents an opportunity for accelerating MF much further when appropriately exploiting the GPU architectural characteristics. This paper presents cuMF, a CUDA-based matrix factorization library that implements memory-optimized alternate least square (ALS) method to solve very large-scale MF. CuMF uses a variety set of techniques to maximize the performance on either single or multiple GPUs. These techniques include smart access of sparse data leveraging GPU memory hierarchy, using data parallelism in conjunction with model parallelism, minimizing the communication overhead between computing units, and utilizing a novel topology-aware parallel reduction scheme. With only a single machine with four Nvidia GPU cards, cuMF can be 6-10 times as fast, and 33-100 times as cost-efficient, compared with the state-of-art distributed CPU solutions. Moreover, this cuMF can solve the largest matrix factorization problem ever reported yet in current literature, while maintaining impressively good performance.

연구 동기 및 목표

• 현재 1000억 건 이상의 평가점수와 수십억 명의 사용자를 포함하는 엔터프라이즈 수준 추천 시스템에서의 확장성 있고 빠른 행렬 분해(MF)에 대한 증가하는 수요를 해결한다.
• 대규모 클러스터(예: 50개 노드)를 필요로 하며 고지연성과 높은 비용을 겪는 기존 CPU 기반 분산 시스템의 한계를 극복한다.
• 메모리 용량 제한과 희소 MF 워크로드의 메모리 기반 성능 특성에도 불구하고, 고메모리 대역폭과 막대한 병렬 처리 능력을 지닌 GPU 아키텍처의 잠재력을 극대화한다.
• 알고리즘적 및 아키텍처 최적화를 융합하여 희소이고 대규모인 MF 작업에서 GPU 활용도를 극대화하는 시스템을 설계한다.
• 단일 머신 GPU 솔루션이 대규모 CPU 클러스터 대비 MF 워크로드에서 속도와 비용 효율성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• GPU에서 희소 행렬 분해에 최적화된 대체 최소 제곱법(ALS) 알고리즘의 최적화된 메모리 접근 인식 버전을 구현한다.
• 불연속적인 메모리 접근 감소, 더 빠른 메모리(예: 공유 메모리 또는 레지스터 메모리)에 핫스팟 변수 캐싱, 그리고 적극적인 레지스터 사용 기법을 적용하여 메모리 대역폭 활용도를 향상시킨다.
• 데이터 병렬성(평가 행렬을 GPU 간에 분할)과 모델 병렬성(요인 행렬을 분산)을 결합하여 다중 GPU로의 확장성을 확보한다.
• 물리적 GPU 간 연결 토폴로지 구조를 활용하여 상호 GPU 간 통신 오버헤드를 최소화하는 새로운 토폴로지 인식형 병렬 감소 기법을 설계한다.
• 계산과 통신을 겹치는 것을 통해 지연을 숨기고 전체 처리량을 향상시키기 위해 하이브리드 실행 모델을 사용한다.
• 이러한 최적화 기법들을 CUDA 기반 라이브러리(cuMF)에 통합하여 단일 GPU 및 다중 GPU 배포 모두를 지원한다.

실험 결과

연구 질문

• RQ1 GPU 기반 가속화가 대규모 행렬 분해에서 분산 CPU 시스템 대비 속도와 비용 효율성 측면에서 뚜렷한 우월성을 보일 수 있는가?
• RQ2 희소 행렬 분해에서의 메모리 접근 패턴을 어떻게 최적화하여 GPU 메모리 계층 구조를 더 효과적으로 활용하고 대역폭 병목 현상을 방지할 수 있는가?
• RQ3 다중 GPU에 걸쳐 ALS 기반 MF를 확장할 때, 통신 오버헤드를 최소화하면서 데이터 병렬성과 모델 병렬성의 최적 조합은 무엇인가?
• RQ4 비교적 단순하거나 토폴로지 인식이 없는 감소 기법에 비해, 토폴로지 인식형 병렬 감소 기법은 다중 GPU 행렬 분해에서 성능 향상에 어떻게 기여하는가?
• RQ5 단일 머신 GPU 시스템이 기존 클러스터 기반 CPU 솔루션보다 성능은 뛰어나고 비용은 낮게, 현재까지 보고된 가장 큰 행렬 분해 문제를 해결할 수 있는가?

주요 결과

• cuMF는 단일 머신에 네 대의 GPU를 사용하여 최신 분산 CPU 시스템(예: NOMAD, SparkALS, Factorbird)과 동일한 벤치마크 워크로드에서 6–10×의 속도 향상을 달성한다.
• 더 빠른 실행과 더 적은 필요 노드 수 덕분에, cuMF는 기준 CPU 시스템 대비 대규모 MF 실행에 드는 총 비용을 33–100× 감소시킨다.
• 이 시스템은 현재까지 문헌에 보고된 바 있는 가장 큰 행렬 분해 문제를 성공적으로 해결하여 이전의 한계를 초월하는 확장성을 입증한다.
• 불연속적인 메모리 접근 감소 및 레지스터와 공유 메모리의 전략적 사용을 포함한 메모리 접근 최적화 기법 덕분에, cuMF의 성능는 GPU의 이론적 최고 성능에 더욱 가까워졌다.
• 톆롤로지 인식형 병렬 감소 기법은 상호 GPU 간 통신 지연을 크게 감소시켜 다중 GPU에서의 효율적인 확장성을 가능하게 했다.
• 이전의 CPU 기반 시스템이 확장에 실패하거나 성능을 내기 어려운 과거의 문제들—예를 들어 페이스북에서 제공한 1000억 건 이상의 평가점수를 포함한 초대규모 데이터셋—에서도 cuMF는 높은 성능과 확장성을 유지한다.