[논문 리뷰] M-Flash: Fast Billion-scale Graph Computation Using Block Partition Model

Hugo Gualdron, Robson L. F. Cordeiro외 4명|arXiv (Cornell University)|2015. 06. 03.

Graph Theory and Algorithms참고 문헌 25인용 수 4

한 줄 요약

M-Flash는 블록 분할 모델을 사용하여 디스크 I/O를 최소화하고 메모리 내에서 그래프 및 노드 데이터를 재사용함으로써 빌리언 스케일 그래프 처리를 가속화하는 새로운 단일 머신 그래프 계산 프레임워크이다. 실제 그래프에서 최대 66억 개 간선을 처리할 때 최신 기술 수준의 시스템보다 뚜렷한 성능 향상을 이룩하며, 최초로 단일 머신에서 빌리언 스케일 고유값 해법기를 구현한다.

ABSTRACT

Recent graph computation approaches such as GraphChi, X-Stream, TurboGraph and MMap demonstrated that a single PC can perform ecient computation on billion scale graphs. While they use dierent techniques to achieve scalability through opti- mizing I/O operations, such optimization often does not fully exploit the capabilities of modern hard drives. We contribute: (1) a novel and scalable graph computation framework called M-Flash that uses a block partition model to boost computation speed and reduce disk ac- cesses, by logically dividing a graph and its node data into blocks that can fully t in RAM for reuse; (2) a exible and deliberatively simple programming model, as part of M-Flash, that enables us to implement pop- ular and essential graph algorithms, including the rst single-machine billion-scale eigensolver; and (3) exten- sive experiments on real graphs with up to 6.6 billion edges, demonstrating M-Flash's consistent and signi- cant speed-up against state-of-the-art approaches.

연구 동기 및 목표

• 대규모 그래프 워크로드를 위한 현대 하드디스크 성능을 충분히 활용하지 못하는 기존 단일 머신 그래프 시스템의 한계를 해결한다.
• 메모리에 맞는 고정 크기의 블록으로 그래프 및 노드 데이터를 조직하여 디스크 I/O를 줄이는 확장 가능한 프레임워크를 설계한다.
• 필수 그래프 알고리즘을 대규모로 효율적으로 구현할 수 있도록 단순하면서도 유연한 프ogramming 모델을 제공한다.
• 최초로 단일 머신에서 빌리언 스케일 그래프용 고유값 해법기를 가능하게 하여 대규모 스펙트럼 계산의 실용적 타당성을 입증한다.

제안 방법

• 메모리 내 재사용을 극대화하고 디스크 액세스를 최소화하기 위해 그래프 및 관련 노드 데이터를 고정 크기의 블록으로 논리적으로 분할하는 블록 분할 모델을 활용한다.
• 블록 경계에 맞추어 데이터 레이아웃을 구성하여 계산 중에 효율적인 I/O 및 캐시 우수 액세스 패턴을 확보한다.
• PageRank 및 SVD와 같은 일반적인 그래프 알고리즘을 지원하면서도 저수준 데이터 관리를 추상화하는 프로그래밍 모델을 통합한다.
• 여러 계산 반복 동안 메모리 내 블록을 재사용하여 중복 디스크 읽기를 줄이고 데이터 액세스를 최적화한다.
• 블록을 순차적으로 처리하는 스트리밍 계산 모델을 사용하여 높은 처리량과 낮은 지연 시간을 유지한다.
• 블록 수준의 데이터 관리 및 캐싱 전략을 통해 증분 업데이트 및 동적 그래프 처리를 지원한다.

실험 결과

연구 질문

• RQ1 블록 분할 모델이 단일 머신에서 빌리언 스케일 그래프 처리의 디스크 I/O를 뚜렷이 줄이고 성능을 향상시킬 수 있는가?
• RQ2 단순하고도 민감한 프로그래밍 모델이 대규모에서 복잡한 그래프 알고리즘(예: 고유값 해법기)을 얼마나 잘 지원할 수 있는가?
• RQ3 실제 워크로드에서 M-Flash는 GraphChi, X-Stream, TurboGraph와 같은 최신 기술 수준의 시스템과 비교해 성능 면에서 어떻게 나타나는가?
• RQ4 M-Flash는 최초로 단일 머신에서 빌리언 스케일 고유값 해법기를 효율적으로 지원할 수 있는가?

주요 결과

• M-Flash는 최대 66억 개 간선을 가진 실제 그래프에서 최신 기술 수준의 시스템보다 일관되고 뚜렷한 성능 향상을 달성한다.
• 블록 분할 모델은 여러 계산 단계에 걸쳐 그래프 및 노드 데이터의 메모리 내 재사용을 가능하게 하여 디스크 I/O를 줄인다.
• 프레임워크는 최초로 단일 머신에서 빌리언 스케일 고유값 해법기를 성공적으로 구현하여 단일 PC에서 대규모 스펙트럼 분석의 실현 가능성을 입증한다.
• 지능적인 블록 수준 데이터 조직을 통해 현대 하드디스크의 특성을 더 효과적으로 활용함으로써 M-Flash는 기존 시스템을 뛰어넘는 성능을 발휘한다.
• 탄력적인 프로그래밍 모델은 성능이나 확장성에 손상 없이 다양한 그래프 알고리즘을 효율적으로 구현할 수 있도록 한다.