[논문 리뷰] xDGP: A Dynamic Graph Processing System with Adaptive Partitioning

Luis M. Vaquero, Félix Cuadrado외 2명|arXiv (Cornell University)|2013. 09. 04.

Graph Theory and Algorithms참고 문헌 39인용 수 26

한 줄 요약

xDGP는 지역적 레이블 전파 히ュ리스틱을 기반으로 한 분산형, 반복적인 정점 이동 히ュ리스틱을 사용하여 실시간으로 대규모 그래프를 적응적으로 재분할하는 동적 그래프 처리 시스템이다. 데이터 복제 없이 파artition 간 엣지 수를 최소화하고 부하 균형을 유지함으로써 실시간 동적 워크로드에서 실행 시간을 50% 이상 감소시킨다.

ABSTRACT

Many real-world systems, such as social networks, rely on mining efficiently large graphs, with hundreds of millions of vertices and edges. This volume of information requires partitioning the graph across multiple nodes in a distributed system. This has a deep effect on performance, as traversing edges cut between partitions incurs a significant performance penalty due to the cost of communication. Thus, several systems in the literature have attempted to improve computational performance by enhancing graph partitioning, but they do not support another characteristic of real-world graphs: graphs are inherently dynamic, their topology evolves continuously, and subsequently the optimum partitioning also changes over time. In this work, we present the first system that dynamically repartitions massive graphs to adapt to structural changes. The system optimises graph partitioning to prevent performance degradation without using data replication. The system adopts an iterative vertex migration algorithm that relies on local information only, making complex coordination unnecessary. We show how the improvement in graph partitioning reduces execution time by over 50%, while adapting the partitioning to a large number of changes to the graph in three real-world scenarios.

연구 동기 및 목표

• 대규모 동적 그래프의 구조적 변화로 인한 분산 그래프 처리 성능 저하 문제를 해결하기 위해.
• 전체 조정이나 데이터 복제 없이도 그래프 구조 변화에 적응할 수 있는 확장성 있고 분산된 분할 메커니즘을 설계하기 위해.
• 지속적인 그래프 업데이트 중에도 부하 균형을 유지하고 통신 오버헤드를 최소화하기 위해.
• 소셜 네트워크 및 사기 탐지 시스템과 같은 실시간 동적 그래프 워크로드에서 실시간 성능 향상을 가능하게 하기 위해.

제안 방법

• 시스템은 단지 국소 정보에 의존하여 분할 품질을 향상시키는 분산형, 반복적인 정점 이동 알고리즘을 사용한다.
• 자신의 파artition 간 이동은 자르는 엣지 수를 최소화하는 것을 목표로 하는 레이블 전파 히ュ리스틱에 기반한다.
• 이동은 연속적인 처리 반복 사이에 발생하여 계산 중 일관성을 유지한다.
• 복잡한 로컬라이제이션 메커니즘을 통해 정점 ID를 유지함으로써 ID 충돌 없이 원활한 업데이트를 가능하게 한다.
• 그래프의 구조적 변화(예: 엣지 삽입 또는 삭제)가 발생할 때 분할 적응이 트리거된다.
• 히ュ리스틱은 전역 집계나 고비용 최적화 단계를 피하기 위해 경량이고 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 동적 그래프의 구조적 변화가 시간이 지남에 따라 정적 그래프 분할 품질에 어떤 영향을 미치는가?
• RQ2 국소 정보 기반의 분산형 히ュ리스틱이 진화하는 그래프 구조에 효과적으로 그래프 분할을 적응시킬 수 있는가?
• RQ3 동적 재분할의 성능 오버헤드는 얼마이며, 개선된 분할로 인한 성능 향상과 비교해 볼 때 어떠한가?
• RQ4 실제 동적 그래프 워크로드에서 적응형 분할이 실행 시간을 얼마나 줄일 수 있는가?

주요 결과

• 시스템은 소셜 네트워크 및 통화 기록 데이터를 포함한 세 가지 실세계 동적 그래프 워크로드에서 실행 시간을 50% 이상 감소시켰다.
• 적응형 분할은 돌연하거나 지속적인 변화가 발생하더라도 그래프 동적성으로 인한 성능 저하를 크게 완화한다.
• 반복적 정점 이동 히ュ리스틱은 자르는 엣지 수를 효과적으로 최소화하면서도 파artition 간 부하 균형을 유지한다.
• 전체 계산이나 복제 없이 국소 정보에만 의존함으로써 시스템은 높은 확장성과 낮은 조정 오버헤드를 달성한다.
• 정점 이동이 특히 많은 수의 정점 이동이 발생할 경우 주요 오버헤드 원천으로 규명되었다.
• 특히 지속적인 실시간 처리 시나리오에서 정적 분할 전략 및 GPS, Sedge와 같은 관련 시스템에 비해 본 방법이 뛰어난 성능을 보였다.