[논문 리뷰] Graph partitioning and a componentwise PageRank algorithm

Christopher Engström, Sergei Silvestrov|arXiv (Cornell University)|2016. 09. 28.

Data Management and Algorithms참고 문헌 6인용 수 3

한 줄 요약

이 논문은 방향성 그래프를 강하게 연결된 구성요소(SCCs)와 연결된 비순환 구성요소(CACs)로 분할하는 새로운 그래프 분할 방법을 제안한다. 이를 통해 병렬 처리 및 구성요소별 PageRank 계산이 가능해지며, 분할된 그래프의 계층적 구조를 활용해 총 반복 횟수를 줄이고 수렴 속도를 높인다. 특히 대규모 그래프와 낮은 오차 허용 범위에서 표준 승법 반복보다 빠른 수렴을 이룰 수 있으며, 순차적 및 병렬 환경 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this article we will present a graph partitioning algorithm which partitions a graph into two different types of components: the well-known `strongly connected components' as well as another type of components we call `connected acyclic component'. We will give an algorithm based on Tarjan's algorithm for finding strongly connected components used to find such a partitioning. We will also show that the partitioning given by the algorithm is unique and that the underlying graph can be represented as a directed acyclic graph (similar to a pure strongly connected component partitioning). In the second part we will show how such an partitioning of a graph can be used to calculate PageRank of a graph effectively by calculating PageRank for different components on the same `level' in parallel as well as allowing for the use of different types of PageRank algorithms for different types of components. To evaluate the method we have calculated PageRank on four large example graphs and compared it with a basic approach, as well as our algorithm in a serial as well as parallel implementation.

연구 동기 및 목표

• 강하게 연결된 구성요소(SCCs)와 연결된 비순환 구성요소(CACs)로 방향성 그래프를 분해할 수 있는 그래프 분할 알고리즘을 개발하여 PageRank 계산의 향상을 도모한다.
• 분할된 그래프의 계층적 구조를 활용해 병렬 처리 및 구성요소별 PageRank 계산을 가능하게 한다.
• 다른 구조적 특성을 가진 구성요소를 분리함으로써 수렴을 위한 승법 반복 횟수를 줄인다.
• 대규모 실생활 및 합성 그래프를 대상으로 제안된 방법과 표준 PageRank 간의 성능을 평가한다.
• 메모리 제약 환경과 증분 업데이트에 대한 방법의 잠재력을 탐색한다.

제안 방법

• 수정된 타르잔 알고리즘을 사용해 강하게 연결된 구성요소(SCCs)를 식별하고, 그래프의 축약된 구조에서 연결된 비순환 구성요소(CACs)를 유도한다.
• 각 구성요소를 구성요소의 방향성 비순환 그래프(DAG) 내 위치에 따라 수준에 할당함으로써 상향에서 하향으로의 계층적 처리를 가능하게 한다.
• CAC의 비순환 성질에 기반해 각 수준당 한 번의 반복으로 PageRank를 계산하는 CAC-PageRank 알고리즘을 적용한다.
• SCC 내에서 표준 승법 반복을 사용하는 SCC-PageRank 알고리즘을 적용하여 강한 연결성의 특성을 활용한다.
• CAC 및 SCC 구성요소의 결과를 수준 기반 전파 모델을 통해 통합하여 그래프 전반에 걸쳐 일관성을 확보한다.
• 순차적 및 병렬 버전의 알고리즘을 모두 구현하며, 동일 수준의 구성요소 간 병렬 처리를 적용한다.

실험 결과

연구 질문

• RQ1 SCC와 CAC 기반의 그래프 분할 전략이 PageRank 수렴을 위한 승법 반복 횟수를 줄일 수 있는가?
• RQ2 수행 시간과 수렴 속도 측면에서 구성요소별 PageRank 알고리즘이 표준 승법 반복에 비해 어떻게 성능을 발휘하는가?
• RQ3 특히 대규모 그래프에서 동일 수준의 구성요소 간 병렬 처리가 성능 향상에 얼마나 기여하는가?
• RQ4 오차 허용 범위가 감소함에 따라 이 방법의 스케일링 능력은 어떻게 되며, 고정밀도에서도 효율성을 유지하는가?
• RQ5 구성요소별 접근 방식이 그래프 수정 후 PageRank 업데이트를 더 빠르게 수행할 수 있는가?

주요 결과

• 제안된 분할 알고리즘은 그래프를 유일하게 SCC와 CAC로 분해하여 구성요소의 방향성 비순환 그래프(DAG)를 형성한다.
• 이 방법은 특히 높은 연결성과 대규모 그래프에서 수렴을 위한 승법 반복 횟수를 크게 줄였다.
• 바바시-앨버트 모델 그래프의 경우, 다양한 오차 허용 범위에서도 PageRank 계산 시간이 거의 일정하게 유지되어 강건성과 효율성을 입증했다.
• 순차적 구현은 그래프 크기가 커지고 오차 허용 범위가 낮아질수록 기본 승법 반복 방법을 능가하는 성능을 보였다.
• 병렬 구현은 예상보다 높은 오버헤드를 보였으며, 저수준 메모리 및 작업 관리 최적화 여지가 있음을 시사했다.
• 구성요소별 접근 방식은 CAC의 반복 횟수 감소 덕분에 SCC가 적은 그래프, 예를 들어 스케일프리 네트워크에서 더 빠른 수렴을 가능하게 했다.