[논문 리뷰] Snap ML: A Hierarchical Framework for Machine Learning

Celestine Dünner, T. A. Parnell외 6명|arXiv (Cornell University)|2018. 03. 16.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

Snap ML은 GPU 가속, 피이프라인 기반의 외부 메모리 계산, 그리고 다중 노드 클러스터 간 최적화된 통신 패턴을 활용하여 일반선형모형(GLMs)의 학습을 가속화하는 계층적 기계학습 프레임워크이다. Criteo 테라바이트 클릭 로그 데이터셋에서 Tensorflow 대비 500배 빠른 속도를 기록하여 단지 1.5분 만에 로지스틱 회귀 모델을 학습시켰으며, 이는 이전에 보고된 바 중 가장 빠른 결과이자 한 단계 이상 더 가속화된 성능이다.

ABSTRACT

We describe a new software framework for fast training of generalized linear models. The framework, named Snap Machine Learning (Snap ML), combines recent advances in machine learning systems and algorithms in a nested manner to reflect the hierarchical architecture of modern computing systems. We prove theoretically that such a hierarchical system can accelerate training in distributed environments where intra-node communication is cheaper than inter-node communication. Additionally, we provide a review of the implementation of Snap ML in terms of GPU acceleration, pipelining, communication patterns and software architecture, highlighting aspects that were critical for achieving high performance. We evaluate the performance of Snap ML in both single-node and multi-node environments, quantifying the benefit of the hierarchical scheme and the data streaming functionality, and comparing with other widely-used machine learning software frameworks. Finally, we present a logistic regression benchmark on the Criteo Terabyte Click Logs dataset and show that Snap ML achieves the same test loss an order of magnitude faster than any of the previously reported results, including those obtained using TensorFlow and scikit-learn.

연구 동기 및 목표

• 클라우드 및 기업 환경에서 대규모 기계학습 모델의 빠른, 확장성 있고 비용 효율적인 학습을 위한 증가하는 수요를 충족시키기 위해.
• scikit-learn, Spark MLlib, Tensorflow와 같은 기존 프레임워크의 성능 저하 요인, 특히 메모리 제약과 비효율적인 GPU 활용도 문제를 해결하기 위해.
• 현대 컴퓨팅 클러스터의 하드웨어 스택을 반영하는 계층적 시스템을 설계하여 통신 및 자원 사용을 최적화하기 위해.
• GPU 메모리에 들어가지 못할 정도로 큰 데이터셋에 대해 효율적인 외부 메모리 피이프라인을 통해 대규모 GLMs의 고성능 학습을 가능하게 하기 위해.

제안 방법

• 노드, GPU, CPU-GPU 데이터 흐름 간의 중첩 최적화를 가능하게 하는 CoCoA 프레임워크의 계층적 확장 기법을 제안한다.
• CPU, GPU, 인터커넥트 자원의 활용도를 극대화하는 피이프라인 기반의 외부 메모리 스토하스틱 좌표강하 알고리즘을 적용한다.
• 데이터를 조각 단위로 처리하여 메모리 압박을 줄이는 스트리밍 CUDA 연산을 활용한 GPU 기반 국소 해법을 사용한다.
• 내부 노드 간 통신을 외부 노드 간 통신보다 우선시하는 계층적 통신 패턴을 구현하여 확장성을 향상시킨다.
• 저수준 GPU 커널과 효율적인 데이터 스트리밍을 통합한 최적화된 소프트웨어 아키텍처를 구현하여 유휴 시간을 최소화한다.
• 동적 로드 밸런싱과 장애 복구 기능을 지원하는 단일 노드 및 다중 노드 학습 모두를 구현한다.

실험 결과

연구 질문

• RQ1 하드웨어 스택을 반영하는 계층적 기계학습 프레임워크가 분산 GLM 학습에서 더 빠른 수렴과 더 나은 자원 활용도를 달성할 수 있는가?
• RQ2 내부 노드 간 통신을 외부 노드 간 통신보다 우선시하는 계층적 통신 방식이 다중 노드 클러스터 환경에서 학습 성능에 어떤 영향을 미치는가?
• RQ3 GPU 가속과 피이프라인 기반 외부 메모리 처리 방식이 대규모 GLMs의 학습 시간을 얼마나 줄일 수 있는가?
• RQ4 실제 벤치마크에서 Snap ML은 Tensorflow, Vowpal Wabbit, Spark MLlib와 같은 최첨단 프레임워크와 비교해 성능 및 정확도 측면에서 어떤가?

주요 결과

• Snap ML은 Criteo 테라바이트 클릭 로그 데이터셋에 대해 로지스틱 회귀 모델을 1.5분 만에 학습시켜 테스트 손실을 0.128로 달성했다.
• 이것은 이전에 보고된 바 중 가장 빠른 결과였던 Tensorflow를 사용한 60개 워커 및 29개 파라미터 머신 환경 대비 46배 빠른 성능을 의미한다.
• 동일한 하드웨어 구성, 동일한 최적화 알고리즘 및 입력 함수를 사용할 때, Snap ML은 Tensorflow 대비 500배 이상 빠른 학습 속도를 기록했다.
• 계층적 통신 패턴은 외부 노드 간 통신 오버헤드를 크게 감소시켜 다중 노드 환경에서의 학습을 가속화했다.
• 피이프라인 기반의 외부 메모리 파이프라인은 GPU 활용도를 극대화하여 GPU 메모리보다 큰 데이터셋의 효율적 처리를 가능하게 했다.
• Snap ML은 단일 노드 및 다중 노드 배포 환경 모두에서 scikit-learn, Vowpal Wabbit, Spark MLlib, Tensorflow를 모두 앞서는 빠른 학습 속도를 보였다.