[논문 리뷰] CuMF_SGD: Fast and Scalable Matrix Factorization

Xiaolong Xie, Wei Tan외 2명|arXiv (Cornell University)|2016. 10. 19.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 11

한 줄 요약

cuMF_SGD는 CUDA를 활용하여 GPU의 높은 메모리 대역폭과 막대한 병렬 처리 능력을 활용하는 대규모 행렬 분해를 위한 GPU 가속화된 확률적 경사 하강법(SGD) 프레임워크이다. 배치-Hogwild! 및 웨이브프론트 업데이트 스케줄링, 반정밀도 부동소수점 및 워프-샤플을 사용한 최적화된 커널, 다중 GPU 스케일링을 위한 분할 전략을 도입하여 단일 GPU 환경에서는 최신 CPU 시스템 대비 3.1X–28.2X의 성능 향상을 달성했고, 다중 GPU 환경에서는 부분선형 스케일링을 실현하였다.

ABSTRACT

Matrix factorization (MF) has been widely used in e.g., recommender systems, topic modeling and word embedding. Stochastic gradient descent (SGD) is popular in solving MF problems because it can deal with large data sets and is easy to do incremental learning. We observed that SGD for MF is memory bound. Meanwhile, single-node CPU systems with caching performs well only for small data sets; distributed systems have higher aggregated memory bandwidth but suffer from relatively slow network connection. This observation inspires us to accelerate MF by utilizing GPUs's high memory bandwidth and fast intra-node connection. We present cuMF_SGD, a CUDA-based SGD solution for large-scale MF problems. On a single CPU, we design two workload schedule schemes, i.e., batch-Hogwild! and wavefront-update that fully exploit the massive amount of cores. Especially, batch-Hogwild! as a vectorized version of Hogwild! overcomes the issue of memory discontinuity. We also develop highly-optimized kernels for SGD update, leveraging cache, warp-shuffle instructions and half-precision floats. We also design a partition scheme to utilize multiple GPUs while addressing the well-known convergence issue when parallelizing SGD. On three data sets with only one Maxwell or Pascal GPU, cuMF_SGD runs 3.1X-28.2X as fast compared with state-of-art CPU solutions on 1-64 CPU nodes. Evaluations also show that cuMF_SGD scales well on multiple GPUs in large data sets.

연구 동기 및 목표

• 대규모 데이터셋에 대해 SGD 기반 행렬 분해에서 발생하는 메모리 대역폭 장벽을 해결하기 위해.
• GPU의 높은 메모리 대역폭과 빠른 노드 내 통신 능력을 활용하여 단일 노드 CPU 또는 분산 CPU 클러스터가 달성할 수 있는 것 이상의 성능 향상을 이루기 위해.
• SGD의 무작위성을 유지하면서도 병렬성과 메모리 공유를 극대화하는 GPU 인식 워크로드 스케줄링(배치-Hogwild! 및 웨이브프론트 업데이트)을 설계하기 위해.
• 반정밀도 부동소수점, 워프-샤플, 캐시 인식 액세스 패턴을 사용한 고도로 최적화된 GPU 커널을 개발하여 효율적인 SGD 업데이트를 수행하기 위해.
• 업데이트 충돌로 인한 수렴 성능 저하를 방지하는 분할 전략을 설계하여 다중 GPU 스케일링을 효과적으로 구현하기 위해.

제안 방법

• 메모리 불연속성 감소를 위해 다수의 업데이트를 배치 단위로 처리하는 벡터화된 Hogwild!의 변종인 배치-Hogwild!를 제안하여 캐시 활용도와 메모리 공유를 향상시킨다.
• 데이터 병렬 처리와 의존성 인식 업데이트 순서를 가능하게 하는 웨이브프론트 업데이트 스케줄링을 도입하여 GPU 점유율을 극대화하고 메모리 지연을 숨긴다.
• 반정밀도 부동소수점 산술(FP16), 워프-샤플 명령어, 캐시 블로킹을 사용한 고도로 최적화된 CUDA 커널을 적용하여 메모리 트래픽을 감소시키고 산술 집중도를 높인다.
• SGD의 수렴 성질을 유지하면서도 로드 밸런싱을 보장하고 GPU 간 동기화 오버헤드를 최소화하는 다중 GPU 시스템을 위한 행렬 분할 전략을 설계한다.
• Hogwild!에서 영감을 얻은 락 없는 업데이트 메커니즘을 사용하여 동기화 병목 현상을 방지하고, 공유 메모리 GPU 아키텍처에서 고처리량 학습을 가능하게 한다.
• GPU 간 동기화를 위해 CPU-GPU 메모리 전송을 활용하며, 다중 GPU 환경에서 성능 저하를 최소화하기 위해 데이터 이동을 신중히 관리한다.

실험 결과

연구 질문

• RQ1 메모리 대역폭 제약을 극복함으로써 GPU 기반 SGD가 대규모 행렬 분해에서 CPU 기반 SGD보다 뚜렷이 뛰어난 성능을 낼 수 있는가?
• RQ2 GPU에서의 워크로드 스케줄링은 어떻게 설계되어야 하며, SGD의 무작위성을 유지하면서도 병렬성과 메모리 공유를 극대화할 수 있는가?
• RQ3 GPU에서의 SGD 기반 행렬 분해에서 산술 집중도를 향상시키고 메모리 액세스 오버헤드를 줄이기 위해 가장 효과적인 커널 최적화는 무엇인가?
• RQ4 수렴 성능 저하 없이 다중 GPU 스케일링을 달성할 수 있으며, 이를 가능하게 하는 분할 전략은 무엇인가?
• RQ5 다양한 데이터 크기에서 GPU 가속화된 SGD의 성능은 최신 CPU 기반 시스템과 비교해 어떻게 되는가?

주요 결과

• 맥심웰 또는 펄스론 GPU 한 대에서 cuMF_SGD는 1~64개의 CPU 노드에서 실행되는 최신 CPU 솔루션 대비 3.1X에서 28.2X의 성능 향상을 달성한다.
• 배치-Hogwild! 스케줄링 기법은 메모리 불연속성을 효과적으로 감소시키고 메모리 공유를 향상시켜 더 높은 효과적 메모리 대역폭 활용도를 실현한다.
• 웨이브프론트 업데이트 스케줄링은 높은 GPU 점유율을 유지하고 메모리 지연을 숨기며 GPU의 막대한 병렬 처리 능력을 효율적으로 활용한다.
• 반정밀도 부동소수점 산술(FP16)과 워프-샤플 명령어의 사용은 메모리 트래픽을 크게 감소시키고 커널 실행 속도를 가속화한다.
• cuMF_SGD는 다중 GPU 환경에서도 부분선형 스케일링을 보이며, Yahoo!Music 데이터셋에서 한 GPU 대비 두 개의 펄스론 GPU에서 1.5X의 성능 향상을 달성했다. 이는 CPU-GPU 메모리 전송 오버헤드가 존재하더라도 성능 향상이 유지됨을 의미한다.
• Yahoo!Music(1M × 625K)와 같은 대규모 데이터셋에서 강력한 성능을 보이며, 다중 GPU 지원이 가능하고 효과적임을 입증했지만, Netflix나 Hugewiki와 같은 작은 데이터셋은 낮은 차원성으로 인해 제한을 받는다.