[논문 리뷰] Efficiently Counting Vertex Orbits of All 5-vertex Subgraphs, by EVOKE

Noujan Pashanasangi, C. Seshadhri|arXiv (Cornell University)|2019. 11. 24.

Complex Network Analysis Techniques참고 문헌 60인용 수 4

한 줄 요약

EVOKE는 일반화된 그래프 커팅 프레임워크를 활용하여 다항식 방정식을 통해 더 큰 서브그래프의 수를 더 작은 서브그래프의 수와 연결함으로써, 대규모 그래프에서 모든 5-정점 서브그래프에 대해 정확한 정점 오비트 수(VOCs)를 효율적으로 계산하는 확장 가능한 알고리즘이다. 이는 이전 방법보다 최대 수백 배 빠른 성능을 달성하며, 일반 하드웨어에서 수천만 개의 간선을 가진 그래프를 한 시간 이내에 처리할 수 있으며, 총 서브그래프 수 계산에 비해 작은 상수 요소의 오버헤드만을 가지는 것으로 확인되었다.

ABSTRACT

Subgraph counting is a fundamental task in network analysis. Typically, algorithmic work is on total counting, where we wish to count the total frequency of a (small) pattern subgraph in a large input data set. But many applications require local counts (also called vertex orbit counts) wherein, for every vertex $v$ of the input graph, one needs the count of the pattern subgraph involving $v$. This provides a rich set of vertex features that can be used in machine learning tasks, especially classification and clustering. But getting local counts is extremely challenging. Even the easier problem of getting total counts has received much research attention. Local counts require algorithms that get much finer grained information, and the sheer output size makes it difficult to design scalable algorithms. We present EVOKE, a scalable algorithm that can determine vertex orbits counts for all 5-vertex pattern subgraphs. In other words, EVOKE exactly determines, for every vertex $v$ of the input graph and every 5-vertex subgraph $H$, the number of copies of $H$ that $v$ participates in. EVOKE can process graphs with tens of millions of edges, within an hour on a commodity machine. EVOKE is typically hundreds of times faster than previous state of the art algorithms, and gets results on datasets beyond the reach of previous methods. Theoretically, we generalize a recent "graph cutting" framework to get vertex orbit counts. This framework generate a collection of polynomial equations relating vertex orbit counts of larger subgraphs to those of smaller subgraphs. EVOKE carefully exploits the structure among these equations to rapidly count. We prove and empirically validate that EVOKE only has a small constant factor overhead over the best (total) 5-vertex subgraph counter.

연구 동기 및 목표

• 대규모 그래프에서 모든 5-정점 서브그래프에 대한 정확한 정점 오비트 수(VOCs)를 계산하는 문제에 대응하는 것. 이는 기계학습 및 네트워크 분석에 핵심적인 역할을 한다.
• 기존 방법의 확장성 한계를 극복하는 것. 기존 방법은 대규모 그래프에서 종료되지 않거나, 특수 하드웨어가 필요한 근사 또는 병렬화된 접근 방식에 의존한다.
• 일반화된 그래프 커팅 프레임워크를 통해 서브그래프 수 간의 구조적 관계를 활용하여 VOCs를 효율적으로 계산하는 알고리즘을 설계하는 것.
• 세부적인 국소 서브그래프 특징(VOCs)을 계산하는 것이 총 서브그래프 수 계산만큼 실현 가능하며, 오직 작은 상수 요소의 성능 손실만을 수반한다는 것을 입증하는 것.

제안 방법

• EVOKE는 최근의 그래프 커팅 프레임워크를 일반화하여 더 큰 서브그래프의 정점 오비트 수를 더 작은 서브그래프의 수와 연결하는 다항식 방정식을 유도한다.
• 이 방정식들의 대수적 구조를 체계적으로 활용하여 모든 서브그래프를 나열하지 않고 VOCs를 계산함으로써 중복 계산을 최소화한다.
• 알고리즘은 오비트를 병렬로 처리하며, 런타임 분포를 분석한 결과 몇몇 오비트(예: 5-클리크, 5-사이클)가 계산 시간의 대부분을 차지함을 확인하여 효율적인 로드 밸런싱이 가능하다.
• 유도된 및 비유도된 서브그래프 수 계산을 모두 지원하며, 광범위한 실험을 통해 정확한 결과가 검증되었다.
• 이 방법은 독립형 패키지로 구현되었으며, 사회 네트워크 및 웹 그래프를 포함한 다양한 실제 그래프에서 검증되었다.
• 이론적으로 증명되고 실증적으로 검증된 바에 따르면, EVOKE의 설계는 최고의 총 서브그래프 카운터(ESC-5)에 비해 최소한의 상수 요소 오버헤드를 갖는다.

실험 결과

연구 질문

• RQ1 기존 방법이 다루지 못하는 범위를 넘어서, 대규모 그래프에서 모든 5-정점 서브그래프에 대해 정확한 정점 오비트 수를 효율적으로 계산할 수 있는가?
• RQ2 정점 오비트 수 계산(VOCs)의 이론적 및 실용적 성능 오버헤드는 총 서브그래프 수 계산에 비해 얼마나 되는가?
• RQ3 그래프 커팅 프레임워크를 일반화하여 정점 오비트 수 계산을 지원할 수 있으며, 얼마나 효율적으로 활용할 수 있는가?
• RQ4 다양한 오비트 간의 런타임 분포는 병렬 처리와 전체 성능에 어떤 영향을 미치는가?
• RQ5 정점 오비트 수(VOCs)는 실제 네트워크, 예를 들어 인용 네트워크나 사회 네트워크에서 정점에 대해 의미 있는 통찰을 제공할 수 있는가?

주요 결과

• EVOKE는 일반 기계에서 com-orkut와 같은 그래프(최대 6억 2700만 개 간선)를 한 시간 이내에 처리하며, ORCA와 같은 이전 도구의 확장성 한계를 크게 초월한다.
• EVOKE와 ESCAPE(최신 기술의 총 카운터) 간의 런타임 비율은 모든 데이터셋에서 일관되게 2 이하이며, 최대 4를 초과하지 않아, 작은 상수 요소 오버헤드가 확인되었다.
• 5-클리크와 5-사이클 오비트는 총 런타임의 약 절반을 차지하여 가장 계산 비용이 높은 구성 요소임을 시사한다.
• 오비트 계산의 병렬화는 1.5배에서 2배의 성능 향상을 가져왔으며, 이는 작업이 오비트 유형 간 자연스럽게 병렬화 가능하다는 것을 확인한다.
• 서브그래프 간의 VOC 분포는 크게 다름 — 예를 들어, web-google-dir에서 오비트 17(4-패스의 중심)은 수조 수준의 수를 보이고, 오비트 70(간선 하나 제거된 5-클리크)는 尾부 행동이 매우 다양하게 나타남.
• 의미 있는 정점들이 VOCs를 통해 드러남: 책 'C4.5'는 4-패스 중심 오비트에서 가장 높은 수를 기록했고, VLDB 94 논문은 5-클리크 참여 수에서 가장 많았으며, 이는 방법의 해석 가능성(의미 부여 가능성)을 확인한다.