[논문 리뷰] A Distributed Force-Directed Algorithm on Giraph: Design and Experiments

Alessio Arleo, Walter Didimo외 2명|arXiv (Cornell University)|2016. 06. 07.

Data Visualization and Analytics참고 문헌 33인용 수 3

한 줄 요약

이 논문은 Apache Giraph를 사용하여 정점 중심의 '정점처럼 생각하기'(TLAV) 패러다임을 적용한 분산형 힘 기반 그래프 레이아웃 알고리즘인 GiLA를 제안한다. 이 알고리즘은 약 $1의 비용으로 Amazon의 PaaS 환경에서 100만 개의 간선을 가진 대규모 그래프를 8분 이내에 확장 가능하고 저비용으로 시각화할 수 있으며, 중심 집중형 구현보다 뛰어난 성능을 보이며 LinLog 모델과 K-means 군집화를 통해 효과적인 시각적 군집 탐지가 가능하다.

ABSTRACT

In this paper we study the problem of designing a distributed graph visualization algorithm for large graphs. The algorithm must be simple to implement and the computing infrastructure must not require major hardware or software investments. We design, implement, and experiment a force-directed algorithm in Giraph, a popular open source framework for distributed computing, based on a vertex-centric design paradigm. The algorithm is tested both on real and artificial graphs with up to million edges, by using a rather inexpensive PaaS (Platform as a Service) infrastructure of Amazon. The experiments show the scalability and effectiveness of our technique when compared to a centralized implementation of the same force-directed model. We show that graphs with about one million edges can be drawn in less than 8 minutes, by spending about 1\$ per drawing in the cloud computing infrastructure.

연구 동기 및 목표

• 대규모 그래프에 적합한 확장 가능하고 저비용인 분산 그래프 시각화 알고리즘을 설계하기.
• Apache Giraph에서 TLAV 패러다임을 사용하여 효율적인 분산 실행을 위한 힘 기반 레이아웃 알고리즘을 구현하기.
• 저비용 클라우드 인프라를 사용하여 실제 및 합성 그래프에서 알고리즘의 성능과 비용 효율성을 평가하기.
• LinLog 힘 모델을 적응시키고 노드 위치에 K-means 군집화를 적용하여 대규모 그래프에서의 시각적 군집 탐지 기능을 제공하기.
• 미래의 분산 그래프 시각화 연구에서 재사용이 가능한 오픈소스 코드를 제공하기.

제안 방법

• 알고리즘은 분산 실행에 적합하게 TLAV 패러다임을 적용한 Fruchterman-Reingold 힘 기반 모델을 기반으로 한다.
• 각 정점은 이웃 정점으로부터의 힘을 독립적으로 계산하고, 정점 중심 방식으로 반복적으로 위치를 갱신한다.
• 시각적 군집 강화를 위해 에너지 함수로 LinLog 모델을 확장한다.
• 최종 노드 좌표에 K-means 군집 알고리즘을 적용하여 군집을 탐지하고 색상으로 표시한다.
• Apache Giraph의 장애 내성 및 확장 가능한 실행 모델을 활용하여 PaaS 클라우드 인프라에서 실행한다.
• 21개 노드로 구성된 Amazon EMR 클러스터를 사용하여 실제 및 합성 그래프(최대 100만 개 간선)에서 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 클라우드 기반 PaaS 인프라에서 정점 중심 모델을 사용하여 힘 기반 그래프 레이아웃 알고리즘을 효과적이고 효율적으로 분산 실행할 수 있는가?
• RQ2 대규모 그래프에서 분산 알고리즘의 성능과 비용은 중심 집중형 구현과 비교해 어떻게 되는가?
• RQ3 분산 레이아웃과 K-means 군집화와 함께 LinLog 힘 모델을 적용했을 때, 대규모 그래프에서의 시각적 군집 탐지 향상 정도는 어느 정도인가?
• RQ4 클라우드 환경에서 최대 100만 개 간선을 가진 그래프에서 알고리즘의 확장성과 런타임 비용은 어떻게 되는가?
• RQ5 TLAV 기반 설계는 다양한 그래프 구조에서 선형 확장성을 달성하고 레이아웃 품질을 유지할 수 있는가?

주요 결과

• 100만 개 간선을 가진 그래프는 21개 노드로 구성된 Amazon EMR 클러스터에서 GiLA 알고리즘을 사용해 8분 이내에 성공적으로 시각화되었다.
• 이러한 그래프를 렌더링하는 총 비용은 그림당 약 $1 USD로, PaaS 인프라에서 저비용 운영을 입증했다.
• 알고리즘은 중심 집중형 구현 대비 뛰어난 확장성과 성능 향상을 보였으며, 특히 직경이 작은 그래프에서 두드러졌다.
• LinLog 힘 모델과 K-means 군집화를 조합하여 고품질의 시각적 군집을 생성했으며, 테스트된 그래프에서 모듈러리티 평균 0.51, 도전도 평균 0.57을 기록했다.
• 최적의 군집 수를 자동으로 선택하기 위해 Calinski-Harabasz 지수를 사용했고, 다양한 지표에서 일관된 높은 군집 품질을 확보했다.
• 구현 코드는 http://www.geeksykings.eu/gila/ 에 공개되어 향후 연구에서의 재사용과 확장이 가능하다.