[논문 리뷰] GraphLab: A Distributed Framework for Machine Learning in the Cloud

Yucheng Low, Joseph E. Gonzalez외 3명|arXiv (Cornell University)|2011. 07. 05.

Graph Theory and Algorithms참고 문헌 41인용 수 21

한 줄 요약

GraphLab는 기계학습에서 흔한 희박한 종속성, 반복 계산, 비동기 업데이트를 효율적으로 표현하면서도 순차적 일致성을 보장하는 도메인 특화 병렬 추상화를 도입한다. 64노드의 EC2 클러스터에서 평가한 결과, Hadoop 대비 20–60배의 성능 향상을 달성했으며, 수작업 최적화된 MPI 구현과도 유사한 성능을 보였다. 이는 클라우드 인프라에서 확장 가능하고 정확하며 고성능의 기계학습을 가능하게 한다.

ABSTRACT

Machine Learning (ML) techniques are indispensable in a wide range of fields. Unfortunately, the exponential increase of dataset sizes are rapidly extending the runtime of sequential algorithms and threatening to slow future progress in ML. With the promise of affordable large-scale parallel computing, Cloud systems offer a viable platform to resolve the computational challenges in ML. However, designing and implementing efficient, provably correct distributed ML algorithms is often prohibitively challenging. To enable ML researchers to easily and efficiently use parallel systems, we introduced the GraphLab abstraction which is designed to represent the computational patterns in ML algorithms while permitting efficient parallel and distributed implementations. In this paper we provide a formal description of the GraphLab parallel abstraction and present an efficient distributed implementation. We conduct a comprehensive evaluation of GraphLab on three state-of-the-art ML algorithms using real large-scale data and a 64 node EC2 cluster of 512 processors. We find that GraphLab achieves orders of magnitude performance gains over Hadoop while performing comparably or superior to hand-tuned MPI implementations.

연구 동기 및 목표

• 기계학습 알고리즘에서 흔한 희박한 종속성을 표현하는 데에 비효율적인 기존 병렬 추상화(예: MapReduce 및 Dryad)의 문제를 해결하기 위해.
• 경쟁 조건과 메시지 전달과 같은 저수준 동시성 문제를 추상화하여 분산 기계학습을 구현하는 복잡성을 줄이기 위해.
• 고수준 추상화를 통해 반복 기계학습 알고리즘의 효율적이고 증명 가능하게 올바르며 확장 가능한 실행을 가능하게 하기 위해.
• 기계학습 연구자들이 접근하기 쉽게 유지하면서도 수작업 최적화된 MPI 코드 수준의 성능을 달성하기 위해.

제안 방법

• GraphLab 추상화는 정점과 간선의 그래프로 기계학습 알고리즘을 모델링하며, 정점은 계산 단위를, 간선은 데이터 종속성을 나타낸다.
• 시스템은 비동기적이고 반복적인 계산을 지원하며, 실행 중에 전역적으로 정보를 집계하기 위해 sync 연산을 제공한다.
• 두 가지 분산 엔진을 구현했다: 그래프 색칠 기법을 사용한 정적 스케줄링을 위한 Chromatic Engine과, 분산 락과 지연 숨기기 기능을 갖춘 동적 우선순위 실행을 위한 Locking Engine.
• 정밀한 조율을 통해 순차적 일치성을 보장하여 반복 기계학습 알고리즘에서 통계적 정확성을 유지한다.
• 대규모 클러스터에서 성능을 최적화한 C++ API를 사용하며, 효율적인 메모리 접근과 통신을 지원한다.
• 동적 그래프 구조를 지원하고, 유연한 확장이 가능한 클라우드 환경(예: Amazon EC2)과 통합된다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 알고리즘의 계산 패턴, 특히 희박한 종속성과 반복 업데이트를 갖는 알고리즘들을 효율적으로 표현할 수 있는 고수준 병렬 추상화가 가능한가?
• RQ2 성능을 희생시키지 않고도 비동기적 분산 환경에서 순차적 일치성을 유지할 수 있는가?
• RQ3 일반적인 프레임워크인 Hadoop보다 도메인 특화 추상화가 기계학습 워크로드에서 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 수작업 최적화된 MPI 실현과 유사한 성능을 달성하면서도 기계학습 연구자들이 쉽게 접근할 수 있는가?

주요 결과

• 64노드의 EC2 클러스터(512개 프로세서)를 사용해 실제 기계학습 워크로드에서 Hadoop 대비 20–60배의 성능 향상을 달성했다.
• 정교하게 최적화된 MPI 실현과 동등한 성능을 보였으며, 고수준 추상화가 효율성을 포기하지 않음을 입증했다.
• CoSeg 실험에서 8에서 64개 프로세서로 확장할 때 런타임이 오직 11% 증가하여 강력한 확장성을 보였다.
• 성능은 파artition 품질에 매우 민감했으며, 나쁜 파artition 상황에서 최대 허용 잠금 수를 늘리면 성능 향상이著명했다.
• Amazon EC2 환경에서 Hadoop에 비해 가격 대비 성능 및 가격 대비 정확도 비율에서 뛰어난 성능을 보였다. 특히 세분화된 청구 방식에서 두드러졌다.
• sync 연산은 비동기 반복 중 전역 집계를 효율적으로 지원하여 반복 기계학습 알고리즘의 수렴을 가능하게 했다.