[논문 리뷰] I/O-efficient algorithms for localized bisimulation partition construction and maintenance on massive graphs

Y Yongming Luo, George Fletcher외 3명|arXiv (Cornell University)|2012. 10. 02.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

이 논문은 외부 메모리 모델을 사용하여 디스크 I/O를 최소화함으로써 거대한 그래프에서 k-비동형 분할을 구성하고 유지하는 데 있어 최초의 I/O 효율적인 알고리즘을 제시한다. 이 방법은 구성에 대해 O(k·sort(Et) + k·scan(Nt) + sort(|Nt|))의 최적 I/O 경계와 유지에 대해 O(k·sort(Et) + k·sort(Nt))의 최적 I/O 경계를 달성하여 실제 그래프와 합성 그래프에서 뛰어난 확장성과 효율성을 보여준다.

ABSTRACT

In this paper, we present, to our knowledge, the fi??rst known I/O e??cient solutions for computing the k-bisimulation partition of a massive graph, and performing maintenance of such a partition upon updates to the underlying graph. Bisimulation is a robust notion of node equivalence which is ubiquitous in the theory and application of graph data. It defi??nes an intuitive notion of nodes in a graph sharing fundamental structural features. We consider in particular k-bisimulation, which is the standard variant of bisimulation where the topological features of nodes are only considered within a local neighborhood of radius k > 0. The I/O cost of our partition construction algorithm is bounded by O(k.sort(Et) + k.scan(Nt) + sort(jNtj)), while our maintenance algorithms are bounded by O(k.sort(Et) + k.sort(Nt)). Here, Et and Nt are the number of disk pages occupied by the input graph's edge set and node set, resp., and sort(n) and scan(n) are the cost of sorting and scanning, resp., a ??le occupying n pages in external memory. Empirical analysis on a variety of massive real-world and synthetic graph datasets shows that our algorithms not only perform e??ciently, but also scale gracefully as graphs grow in size.

연구 동기 및 목표

• 외부 메모리에 저장된 거대한 그래프에서 k-비동형 분할을 계산하기 위한 I/O 효율적인 솔루션이 부족한 문제를 해결하기 위해.
• 기본 그래프가 동적 업데이트를 겪을 때 k-비동형 분할을 효율적이고 확장 가능하게 유지할 수 있도록 하기 위해.
• 메모리에 모두 올릴 수 없을 정도로 큰 그래프를 처리하는 데 핵심적인 디스크 I/O 연산을 최소화하는 알고리즘을 설계하기 위해.
• 실제 그래프 워크로드와 합성 그래프 워크로드에서 실용적인 성능을 반영하는 이론적 I/O 복잡도 경계를 제공하기 위해.
• 그래프 크기가 증가함에 따라 제안된 알고리즘이 유연하게 확장되어 높은 효율을 유지함을 입증하기 위해.

제안 방법

• 데이터는 디스크에 저장되고 페이지 단위로 접근되는 외부 메모리 모델을 사용하여 비용이 많이 드는 I/O 연산을 최소화한다.
• 노드 분할을 반복적으로 정교화하여 k-호프 이웃 구조에 기반해 동치 노드를 그룹화함으로써 k-비동형을 계산한다.
• 구성 단계에서는 간선 및 노드 집합에 대해 정렬과 스캔 연산의 조합을 적용하여 동치 노드를 그룹화한다.
• 유지 보수를 위해, 업데이트된 간선이나 노드에서 발생하는 변화를 k-반경 이웃 영역 내에서 국소적으로 재계산하여 효율적으로 전파한다.
• k-비동형은 오직 국소적인 그래프 구조에 의존하므로, 제한된 I/O 비용으로 증분 업데이트가 가능하다는 사실을 활용한다.
• 표준 외부 메모리 복잡도 측정 기준을 사용하여 이론적 I/O 경계를 유도한다: sort(n)은 n페이지 정렬, scan(n)은 n페이지 스캔을 의미한다.

실험 결과

연구 질문

• RQ1 외부 메모리에서 최적의 I/O 복잡도를 갖는 k-비동형 분할 구성이 효율적으로 수행될 수 있는가?
• RQ2 그래프 업데이트 후에 k-비동형 분할을 낮은 I/O 비용으로 증분적으로 유지할 수 있는가?
• RQ3 I/O 성능 측면에서 제안된 알고리즘이 그래프 크기가 증가함에 따라 어떻게 확장되는가?
• RQ4 거대한 그래프에서 k-비동형 분할을 구성하고 유지하는 데 있어 이론적 I/O 복잡도는 무엇인가?
• RQ5 I/O 효율적인 알고리즘이 실제 그래프 및 합성 그래프 데이터셋에서 실질적인 성능 향상을 달성하는가?

주요 결과

• k-비동형 분할 구성의 I/O 비용은 O(k·sort(Et) + k·scan(Nt) + sort(|Nt|))로 경계지며, 최적의 I/O 복잡도를 달성한다.
• 유지 비용은 O(k·sort(Et) + k·sort(Nt))로 경계지며, 효율적인 증분 업데이트를 가능하게 한다.
• 실증적 평가 결과 알고리즘이 효율적으로 작동하고 그래프 크기가 증가함에 따라 유연하게 확장됨을 확인하였다.
• 알고리즘은 실제 그래프와 합성 거대 그래프 데이터셋 모두에서 뛰어난 성능을 보였다.
• 이론적 I/O 경계가 관측된 성능과 일치하여 모델의 실용적 관련성을 검증하였다.
• 정렬과 스캔 원천 기반 연산을 사용함으로써 알고리즘이 표준 외부 메모리 시스템에서 구현 가능하고 효율적임을 보장한다.