[논문 리뷰] Lightweight Fault Tolerance in Large-Scale Distributed Graph Processing

Da Yan, James Cheng외 1명|arXiv (Cornell University)|2016. 01. 25.

Graph Theory and Algorithms참고 문헌 17인용 수 8

한 줄 요약

이 논문은 대규모 분산 그래프 처리를 위한 새로운 장애 내성 메커니즘인 경량 체크포인팅(LWCP)을 제안한다. LWCP는 전체 메시지와 인접 리스트 저장을 생략하고, 오직 정점 상태와 누적 엣지 업데이트만 저장함으로써 기존 방법 대비 체크포인팅 시간을 최대 30배 감소시킨다. LWCP를 정점 상태 로깅과 조합함으로써, 장애 발생 후 복구를 빠르게 수행하면서도 장애 없는 성능에 영향을 주지 않으며, WebUK 및 Friendster와 같은 실세계 그래프에서 체크포인팅 및 로그 관리에 거의 무시할 수 없는 오버헤드를 유도한다.

ABSTRACT

The success of Google's Pregel framework in distributed graph processing has inspired a surging interest in developing Pregel-like platforms featuring a user-friendly "think like a vertex" programming model. Existing Pregel-like systems support a fault tolerance mechanism called checkpointing, which periodically saves computation states as checkpoints to HDFS, so that when a failure happens, computation rolls back to the latest checkpoint. However, a checkpoint in existing systems stores a huge amount of data, including vertex states, edges, and messages sent by vertices, which significantly degrades the failure-free performance. Moreover, the high checkpointing cost prevents frequent checkpointing, and thus recovery has to replay all the computations from a state checkpointed some time ago. In this paper, we propose a novel checkpointing approach which only stores vertex states and incremental edge updates to HDFS as a lightweight checkpoint (LWCP), so that writing an LWCP is typically tens of times faster than writing a conventional checkpoint. To recover from the latest LWCP, messages are generated from the vertex states, and graph topology is recovered by replaying incremental edge updates. We show how to realize lightweight checkpointing with minor modifications of the vertex-centric programming interface. We also apply the same idea to a recently-proposed log-based approach for fast recovery, to make it work efficiently in practice by significantly reducing the cost of garbage collection of logs. Extensive experiments on large real graphs verified the effectiveness of LWCP in improving both failure-free performance and the performance of recovery.

연구 동기 및 목표

• Pregel 유사 시스템에서 전체 정점 상태, 엣지, 메시지를 저장하는 기존 체크포인팅 방식이 높은 성능 오버헤드를 유발하여 장애 없는 성능을 떨어뜨리는 문제를 해결하기 위해.
• 정점 상태와 누적 엣지 업데이트만 저장하여 체크포인팅 비용을 줄이고, 정적 또는 예측 가능한 그래프 구조와 정점 값에서 유도된 메시지 계산을 활용하기 위해.
• LWCP와 정점 상태 로깅을 조합하여 복구를 빠르게 구현함으로써, 고장 발생 후 생존한 머신에서의 중복 재계산을 피하기 위해.
• 프로그래머의 부담을 최소화하면서도 정점 중심 프로그래밍 모델과의 후행 호환성을 유지하기 위해.
• 실제 환경에서 경량 체크포인팅과 로깅이 고성능 체크포인팅 및 메시지 기반 복구보다 뛰어난 성능을 보임을 입증하기 위해, 특히 높은 메시지 볼륨 환경에서.

제안 방법

• 전체 메시지 및 인접 리스트 저장을 생략하고 오직 정점 상태와 누적 엣지 업데이트만 저장하는 경량 체크포인팅(LWCP)을 제안한다.
• 복구 시 입력 그래프와 누적 엣지 업데이트를 재생함으로써 그래프 구조를 재구성하며, 정적 또는 버전 관리된 구조를 가정한다.
• 정점 상태만으로도 출력 메시지를 생성함으로써, 들어오는 메시지의 저장 또는 재생이 필요 없도록 한다.
• 오직 정점 상태만을 로깅하는 메시지 기반 복구 메커니즘과 LWCP를 통합함으로써 로그 관리 오버헤드를 줄인다.
• 체크포인팅 및 로깅을 지원하기 위해 정점 중심 인터페이스를 최소한으로 수정하여 '정점처럼 생각하라'는 모델을 유지한다.
• 로그 작업의 낮은 오버헤드를 확보하기 위해 운영 체제의 메모리 캐싱을 활용하여 순차적 로그 쓰기 및 읽기를 최적화한다.

실험 결과

연구 질문

• RQ1 대규모 그래프 처리에서 장애 내성 성능 오버헤드를 줄이되, 장애 내성 능력을 훼손하지 않는 체크포인팅 메커니즘을 설계할 수 있는가?
• RQ2 최소한의 체크포인트 데이터에서 그래프 구조와 메시지 계산을 효율적으로 재구성할 수 있는가?
• RQ3 경량 로깅은 메시지 기반 로깅 대비 복구 시간을 단축시키면서도 장애 없는 성능에 거의 영향을 주지 않는가?
• RQ4 제안된 방법이 그래프 크기와 고장 빈도 증가에 따라 얼마나 잘 스케일링되는가?
• RQ5 실세계 워크로드에서 경량 체크포인팅은 고성능 체크포인팅 및 로그 기반 복구와 비교해 어떻게 성능을 냅니까?

주요 결과

• WebUK 그래프(55억 개 엣지)에서 기존 체크포인팅은 약 60초가 소요되나, LWCP는 단 2초로 줄어들어 30배 향상되었다.
• LWCP는 WebUK 및 Friendster 양쪽에서 체크포인팅 오버헤드를 2.5초 이내로 줄여, 정상 실행 시간에 비해 거의 무시할 수 없을 정도로 낮춘다.
• 경량 로그(LWLog) 기반 복구는 로그 쓰기 오버헤드가 약 1초에 불과한 반면, 고성능 로그 시스템의 경우 약 100초에 이르는 가비지 컬렉션 오버헤드를 유발한다.
• 다수의 워커가 고장 났을 경우, LWLog의 복구 시간은 정상 실행 시간보다도 빠르며, 생존한 노드의 중복 재계산을 피하기 때문이다.
• Giraph, GraphLab, GraphX와 같은 기존 프레임워크보다 장애 없는 성능과 체크포인팅 효율성 측면에서 뛰어나며, 동일하거나 더 나은 복구 시간을 제공한다.
• LWLog의 가비지 컬렉션 비용은 거의 무시할 수 있는데, 이는 고성능 시스템에서의 비용이 많이 드는 메시지 로그 삭제와는 달리 오직 경량 정점 상태 로그만 관리하기 때문이다.