[논문 리뷰] Effective Techniques for Message Reduction and Load Balancing in Distributed Graph Computation

Da Yan, James Cheng외 2명|arXiv (Cornell University)|2015. 03. 02.

Graph Theory and Algorithms참고 문헌 23인용 수 13

한 줄 요약

이 논문은 분산 그래프 계산에서 통신 오버헤드를 줄이고 워크로드 균형을 맞추기 위해 정점 반사와 메시지 결합, 요청-응답 API라는 두 가지 기법을 제안한다. 고도수 정점이 보내는 메시지를 최소화하고 비근접 정점 간 통신을 효율적으로 가능하게 함으로써, 실제 그래프에서 총 메시지 수와 실행 시간을 크게 감소시킨다.

ABSTRACT

Massive graphs, such as online social networks and communication networks, have become common today. To efficiently analyze such large graphs, many distributed graph computing systems have been developed. These systems employ the "think like a vertex" programming paradigm, where a program proceeds in iterations and at each iteration, vertices exchange messages with each other. However, using Pregel's simple message passing mechanism, some vertices may send/receive significantly more messages than others due to either the high degree of these vertices or the logic of the algorithm used. This forms the communication bottleneck and leads to imbalanced workload among machines in the cluster. In this paper, we propose two effective message reduction techniques: (1)vertex mirroring with message combining, and (2)an additional request-respond API. These techniques not only reduce the total number of messages exchanged through the network, but also bound the number of messages sent/received by any single vertex. We theoretically analyze the effectiveness of our techniques, and implement them on top of our open-source Pregel implementation called Pregel+. Our experiments on various large real graphs demonstrate that our message reduction techniques significantly improve the performance of distributed graph computation.

연구 동기 및 목표

• 고도수 정점과 알고리즘 로직으로 인한 분산 그래프 처리의 통신 병목 현상 해결.
• 클러스터 내에서 머신 간 불균형한 워크로드 분포를 제거하고 총 메시지 볼륨을 줄이기.
• 사용자 프로그램을 수정하지 않고도 Pregel 스타일 그래프 시스템의 성능 향상.
• 새로운 프로그래밍 추상화를 통해 정점 중심 그래프 알고리즘에서 비근접 통신을 효율적으로 가능하게 하기.
• 메시지 감소와 워크로드 균형화를 조합한 기법이 실제 그래프 워크로드에서 효과적임을 입증하기.

제안 방법

• 정점 반사 도입: 각 정점이 고도수 이웃 정점의 미러 복사본을 유지하여 직접 메시지를 보내는 것을 줄인다.
• 메시지 결합 적용: 동일한 대상 정점으로 향하는 메시지를 전송 전에 집계하여 총 메시지 수를 줄인다.
• 요청-응답 API 설계: 정점이 이웃이 아닌 어떤 정점에게도 요청을 보낼 수 있으며, 대상 정점은 직접 응답한다.
• Pregel+라는 오픈소스 Pregel 호환 시스템에 두 기법을 구현하여 종단 간 성능을 평가한다.
• 하이브리드 접근법 적용: 반사로 고도수 정점의 부담을 줄이고, 요청-응답을 통해 비현지 통신을 효율적으로 구현한다.
• 이론적 분석을 통해 반사 기법이 정점당 메시지 수를 상한선으로 제한하고, 요청-응답 기법이 불필요한 메시지 전파를 방지함을 보여준다.

실험 결과

연구 질문

• RQ1 고도수 정점으로 인한 분산 그래프 처리에서의 통신 병목 현상을 어떻게 완화할 수 있는가?
• RQ2 메시지 결합과 정점 반사 기법이 총 메시지 볼륨 감소와 워크로드 균형화에 얼마나 기여하는가?
• RQ3 요청-응답 프로그래밍 모델이 Pregel 스타일 시스템에서 복잡한 메시지 전달 패tern을 효과적으로 대체할 수 있는가?
• RQ4 제안된 기법들이 Giraph, GraphLab, GPS와 같은 기존 시스템과 성능 면에서 어떻게 비교되는가?
• RQ5 제안된 기법에서 메시지 감소와 계산 오버헤드 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 정점 반사와 메시지 결합의 통합으로 WebUK 및 BTC와 같은 실제 그래프에서 메시지 수가 최대 75% 감소했다.
• WebUK 그래프에서 요청-응답 기법을 사용해 속성 브로드캐스트의 메시지 수가 11,015백만에서 2,699백만으로 감소했다.
• 두 기법을 모두 적용한 Pregel+는 Giraph와 GraphLab를 능가했으며, 메시지 교환 수가 더 많음에도 불구하고 GPS와 동등하거나 이를 초월하는 성능을 보였다.
• 요청-응답 기법은 USA와 같이 저도수 그래프에서는 효율적이지 않아, 오버헤드가 메시지 감소의 이점보다 컸다.
• GPS와 같이 고도로 최적화된 시스템과 비교해도 반사와 결합 기법으로부터의 성능 향상은 뚜렷했으며, 제안된 기법의 가치를 입증했다.
• 반사 기법의 일회성 사전 처리 비용은 전체 계산 시간에 비해 짧아 생산 환경에서 실용적임을 입증했다.