[논문 리뷰] Beyond Triangles: A Distributed Framework for Estimating 3-profiles of Large Graphs

Ethan R. Elenberg, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2015. 06. 22.

Graph Theory and Algorithms인용 수 7

한 줄 요약

이 논문은 대규모 그래프에서 3-node 부분그래프의 수를 효율적으로 추정하기 위해 분산형, 샘플링 기반 프레임워크를 제안한다. 3-profile 스퍼서피어와 엣지 피봇팅을 도입함으로써, 분산 시스템에서 병렬로 전역, 국소, 이고(ego) 3-profile을 스케일러블하고 정확하게 계산할 수 있게 되었으며, 정확도가 보장되는 농도 경계를 갖는 삼각형 수세기 수준의 성능을 달성한다.

ABSTRACT

We study the problem of approximating the $3$-profile of a large graph. $3$-profiles are generalizations of triangle counts that specify the number of times a small graph appears as an induced subgraph of a large graph. Our algorithm uses the novel concept of $3$-profile sparsifiers: sparse graphs that can be used to approximate the full $3$-profile counts for a given large graph. Further, we study the problem of estimating local and ego $3$-profiles, two graph quantities that characterize the local neighborhood of each vertex of a graph. Our algorithm is distributed and operates as a vertex program over the GraphLab PowerGraph framework. We introduce the concept of edge pivoting which allows us to collect $2$-hop information without maintaining an explicit $2$-hop neighborhood list at each vertex. This enables the computation of all the local $3$-profiles in parallel with minimal communication. We test out implementation in several experiments scaling up to $640$ cores on Amazon EC2. We find that our algorithm can estimate the $3$-profile of a graph in approximately the same time as triangle counting. For the harder problem of ego $3$-profiles, we introduce an algorithm that can estimate profiles of hundreds of thousands of vertices in parallel, in the timescale of minutes.

연구 동기 및 목표

• 정확한 계산이 불가능한 대규모 그래프에서 3-profile—모든 유도된 3노드 부분그래프의 수—를 효율적으로 추정하는 문제를 해결하기 위해.
• 3-profile 추정을 유지하면서 그래프 크기를 줄이는 증명 가능하게 정확한 샘플링 기법을 개발하여 날카로운 농도 경계를 확보하기 위해.
• 최소한의 통신 오버헤드로 분산 시스템에서 국소 및 이고 3-profile을 병렬로 계산할 수 있는 알고리즘을 설계하기 위해.
• 일반적인 클러스터를 사용하여 실제 세계의 그래프에서 3-profile을 스케일러블하고 고성능으로 계산할 수 있도록 하기 위해.

제안 방법

• 3-profile 스퍼서피어를 도입: 랜덤 엣지 샘플링을 통해 생성된 희소 부분그래프로, 높은 확률로 3-profile 수를 유지한다.
• 각 정점에서 2-hop 리스트를 명시적으로 저장하지 않고도 2-hop 이웃 정보를 수집하기 위해 새로운 엣지 피봇팅 메커니즘을 활용한다.
• GraphLab PowerGraph 프레임워크 내의 Gather-Apply-Scatter 모델을 사용하여, 모든 정점에서 국소 3-profile을 병렬로 계산한다.
• 엣지 피봇 방정정식과 국소 클리크 수세기 기법을 조합하여 분산 환경에서 이고 3-profile을 효율적으로 계산한다.
• Kim과 Vu의 다변수 다항식 이론을 기반으로 한 농도 부등식을 적용하고, 3-profile 내 비완전 양수 항을 다룰 수 있도록 변수 변환을 확장한다.
• 샘플링 확률 $p$를 사용하여 3-profile에 대한 편향 없는 추정기법을 유도하며, 오차 경계에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 엣지 서브샘플링을 통해 대규모 그래프의 3-profile를 정확도가 보장되는 희소 표현(3-profile 스퍼서피어)으로 만들 수 있는가?
• RQ2 국소 3-profile—각 정점의 부분그래프 참여 수—를 분산 시스템에서 효율적이고 병렬로 계산할 수 있는가?
• RQ3 수십만 개의 정점에 걸쳐 이고 3-profile 추정의 확장성과 정확도는 어떠한가?
• RQ4 제안된 프레임워크는 더 풍부한 3-profile 정보를 추정함에도 불구하고 삼각형 수세기 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 3-prof 알고리즘은 다양한 그래프와 샘플링 확률에서 실제 값에 매우 가까운 정확도로 전역 3-profile을 추정하며, 그림 12의 오차 막대를 통해 오차 비율이 항상 약 1.0에 가까운 것으로 나타났다.
• Ego-par 알고리즘은 640코어 클러스터에서 최대 480만 개의 정점에 대해 수분 내로 이고 3-profile을 계산하며, 코어 수 증가에 따라 선형 확장성을 보였다.
• Ego-par는 대규모 이고 집합에서 난이도가 높은 Ego-ser 알고리즘보다 수개의 오차 범위로 뛰어난 성능을 보이며, 이고 정점 수가 증가함에 따라 실행 시간이 거의 일정하게 유지되었다.
• Ego-par는 AWS EC2와 Asterix 클러스터 모두에서 효율적으로 확장되며, 더 많은 머신을 추가할수록 실행 시간이 감소하는 반면, Ego-ser는 네트워크 사용 증가로 인해 성능이 떨어지는 것으로 나타났다.
• 엣지 피봇팅을 통해 최소한의 통신으로 2-hop 정보를 효율적으로 수집할 수 있었으며, 이로 인해 2-hop 이웃 정보를 명시적으로 저장하지 않고도 국소 3-profile을 병렬로 계산할 수 있었다.
• 전역 3-profile 추정에서 삼각형 수세기 수준의 성능을 달성했으며, 이는 4개의 3노드 유도 부분그래프를 추적하는 더 높은 복잡도에도 불구하고 가능했다.