[논문 리뷰] Distributed GraphLab: A Framework for Machine Learning in the Cloud

Yucheng Low, Joseph E. Gonzalez외 4명|arXiv (Cornell University)|2012. 04. 26.

Graph Theory and Algorithms참고 문헌 34인용 수 91

한 줄 요약

이 논문은 클라우드 환경에서 확장 가능한 기계 학습 및 데이터 마이닝을 위한 고수준 프레임워크인 Distributed GraphLab을 소개한다. 이는 공유 메모리 기반의 GraphLab 추상화를 분산 시스템으로 확장한 것으로, 파ipelined 잠금, 데이터 버전 관리, 그리고 데이터 배치를 위한 새로운 원자 그래프를 통해 비동기적이고 동적이고 그래프 기반 병렬 계산을 효율적으로 지원한다. 이로 인해 Hadoop 대비 20–60배의 성능 향상을 달성했으며, Amazon EC2에서 수작업 최적화된 MPI 시스템과도 유사한 성능을 보였다.

ABSTRACT

While high-level data parallel frameworks, like MapReduce, simplify the design and implementation of large-scale data processing systems, they do not naturally or efficiently support many important data mining and machine learning algorithms and can lead to inefficient learning systems. To help fill this critical void, we introduced the GraphLab abstraction which naturally expresses asynchronous, dynamic, graph-parallel computation while ensuring data consistency and achieving a high degree of parallel performance in the shared-memory setting. In this paper, we extend the GraphLab framework to the substantially more challenging distributed setting while preserving strong data consistency guarantees. We develop graph based extensions to pipelined locking and data versioning to reduce network congestion and mitigate the effect of network latency. We also introduce fault tolerance to the GraphLab abstraction using the classic Chandy-Lamport snapshot algorithm and demonstrate how it can be easily implemented by exploiting the GraphLab abstraction itself. Finally, we evaluate our distributed implementation of the GraphLab abstraction on a large Amazon EC2 deployment and show 1-2 orders of magnitude performance gains over Hadoop-based implementations.

연구 동기 및 목표

• 기계 학습 및 데이터 마이닝을 위한 비동기적이고 동적이고 그래프 기반 병렬 계산을 지원하는 데에 한계가 있는 기존 프레임워크(예: MapReduce 및 Pregel)의 문제점을 해결하기 위해.
• 공유 메모리 기반 GraphLab 추상화를 분산 환경으로 확장하면서도 강력한 데이터 일致성과 높은 병렬 성능를 유지하기 위해.
• 그래프 기반 데이터 버전 관리와 파이프라인 잠금을 통해 분산 실행에서 네트워크 혼잡도를 줄이고 네트워크 지연 시간을 완화하기 위해.
• Chandy-Lamport 스냅샷 알고리즘을 사용하여 프레임워크의 장애 복구 기능을 통합하고, 이는 GraphLab 추상화 내에서 천연하게 표현 가능한 방식으로.
• 512개 프로세서로 구성된 EC2 클러스터에서 대규모 평가를 통해 Hadoop, Pregel, MPI와의 성능 비교를 통해 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 효율적인 로드 밸런싱과 데이터 유입을 위해 분산 시스템에 GraphLab 추상화를 확장하기 위해 이중 단계 분할 기반의 파artitioning 기법을 사용한다.
• 분산 노드 간에 그래프 구조 데이터를 빠르고 국지성 인식 기반으로 배치할 수 있도록 원자 그래프를 도입한다.
• 네트워크 지연 시간을 숨기고 잠금 엔진에서 동적으로 우선순위가 부여된 실행을 지원하기 위해 파이프라인 기반 분산 잠금을 구현한다.
• 정적 스케줄링에서 순차적 일致성을 확보하기 위해 그래프 색칠 기법을 활용해 부분적으로 동기화된 색상 기반 엔진을 구현한다.
• 두 가지 스냅샷 방식(동기식 및 비동기식)을 사용하여 장애 복구를 구현한다. 이 두 방식 모두 GraphLab 원자 요소를 사용해 표현 가능하다.
• 분산 환경에서의 네트워크 혼잡도를 줄이고 확장성을 향상시키기 위해 데이터 버전 관리를 최적화하여 프레임워크를 최적화한다.

실험 결과

연구 질문

• RQ1 공유 메모리 기반 GraphLab 추상화가 데이터 일치성과 높은 성능를 유지하면서 분산 환경으로 효과적으로 확장될 수 있는가?
• RQ2 분산 그래프 기반 병렬 계산에서 네트워크 혼잡도와 지연 시간을 어떻게 완화할 수 있는가?
• RQ3 표준 분산 알고리즘을 사용하여 장애 복구 기능을 GraphLab 추상화에 효율적으로 통합할 수 있는가?
• RQ4 동적 비동기 계산이 동기적 또는 배치 기반 접근 방식에 비해 기계 학습 알고리즘의 수렴 속도에 얼마나 기여하는가?
• RQ5 실세계 워크로드에서 Distributed GraphLab의 성능이 Hadoop, Pregel, 수작업 최적화된 MPI 구현과 비교해 어떻게 되는가?

주요 결과

• Distributed GraphLab는 512개 프로세서로 구성된 아마존 EC2 클러스터에서 Hadoop/MapReduce 대비 20–60배 빠른 성능 향상을 달성했다.
• 수작업 최적화된 MPI 구현과 유사한 성능을 보이며, 분산 실행에서 매우 높은 효율성을 입증했다.
• 넷플릭스 추천 작업에서 볼 때, GraphLab의 동적 계산은 배치 또는 동기적 방법 대비 약 절반의 업데이트 수로 동일한 테스트 오차에 수렴함을 보였다.
• 아마존 EC2에서 GraphLab의 성능 대비 비용 비율은 Hadoop보다 뚜렷이 뛰어나며, 세밀한 청구 기반으로 측정된 비용 기반으로 평가되었다.
• 파이프라인 잠금과 지연 시간 숨기기 기능을 갖춘 잠금 엔진은 일반적인 그래프 구조에서 비동기 실행을 효율적으로 지원하며, 동적 워크로드에서 동기 모델보다 뛰어난 성능을 보였다.
• Chandy-Lamport 스냅샷을 사용한 장애 복구가 성공적으로 구현되었으며, 이 메커니즘은 GraphLab 원자 요소를 천연하게 표현할 수 있어 구현과 정확성 검증이 간소화되었다.