[논문 리뷰] Motivo: fast motif counting via succinct color coding and adaptive sampling

Marco Bressan, Stefano Leucci외 1명|arXiv (Cornell University)|2019. 06. 04.

Advanced Graph Theory Research참고 문헌 28인용 수 6

한 줄 요약

모티보는 압축된 색상 코드화와 적응형 샘플링을 사용하여 대규모 그래프에서 빠르고 정확한 모티프 수를 세는 새로운 알고리즘을 소개한다. 데이터 구조를 최적화하고 분수 집합 커버 기반의 샘플링 전략을 적용함으로써, 모든 그래프릿을 동시에 곱셈적 근사치로 제공함으로써, 고성능 데스크톱 컴퓨터 하나로도 10억 간선의 그래프에서 희귀하고 복잡한 모티프를 스케일러블하게 수치화할 수 있다.

ABSTRACT

The randomized technique of color coding is behind state-of-the-art algorithms for estimating graph motif counts. Those algorithms, however, are not yet capable of scaling well to very large graphs with billions of edges. In this paper we develop novel tools for the `motif counting via color coding' framework. As a result, our new algorithm, Motivo, is able to scale well to larger graphs while at the same time provide more accurate graphlet counts than ever before. This is achieved thanks to two types of improvements. First, we design new succinct data structures that support fast common color coding operations, and a biased coloring trick that trades accuracy versus running time and memory usage. These adaptations drastically reduce the time and memory requirements of color coding. Second, we develop an adaptive graphlet sampling strategy, based on a fractional set cover problem, that breaks the additive approximation barrier of standard sampling. This strategy gives multiplicative approximations for all graphlets at once, allowing us to count not only the most frequent graphlets but also extremely rare ones. To give an idea of the improvements, in $40$ minutes Motivo counts $7$-nodes motifs on a graph with $65$M nodes and $1.8$B edges; this is $30$ and $500$ times larger than the state of the art, respectively in terms of nodes and edges. On the accuracy side, in one hour Motivo produces accurate counts of $\approx \! 10.000$ distinct $8$-node motifs on graphs where state-of-the-art algorithms fail even to find the second most frequent motif. Our method requires just a high-end desktop machine. These results show how color coding can bring motif mining to the realm of truly massive graphs using only ordinary hardware.

연구 동기 및 목표

• 100억 개 이상의 간선을 가진 대규모 그래프에서 기존의 모티프 수 계산 알고리즘의 확장성 한계를 해결하기 위해.
• 기존 샘플링 방법이 포착하지 못하는 희귀한 그래프릿의 정확도를 향상시키기 위해.
• 최적화된 데이터 구조를 통해 색상 코드화 기반의 모티프 수 계산에서 시간과 메모리 오버헤드를 줄이기 위해.
• 모든 그래프릿을 동시에 곱셈적 오차 보장을 갖는 샘플링 전략을 개발하여 덧셈적 근사치의 장벽을 돌파하기 위해.
• 특수한 인프라 없이도 상용 하드웨어에서 대규모 모티프 분석을 가능하게 하기 위해.

제안 방법

• 일반적인 색상 코드화 연산을 가속화하고 메모리 사용량을 줄이는 압축된 데이터 구조를 설계하기 위해.
• 정확도, 실행 시간, 메모리 소비량 간의 트레이드오프를 허용하는 편향된 색상 부여 기법을 도입하기 위해.
• 전체 샘플 수를 최소화하면서도 모든 그래프릿을 커버하도록 보장하기 위해 샘플링 할당 문제를 분수 집합 커버 문제로 공식화하기 위해.
• 커버되지 않은 그래프릿을 기반으로 트리렛의 우선순위를 동적으로 조정하는 적응형 그래프릿 샘플링 전략(AGS)을 구현하기 위해.
• 집합 커버 공식화를 해결하기 위해 근사도가 O(log s)인 탐욕 알고리즘을 사용하기 위해 (여기서 s는 서로 다른 그래프릿의 수이다).
• 샘플링된 트리렛이 특정 그래프릿을 커버할 확률을 사용하여 그래프릿 발생 횟수의 기대값을 추정하기 위해, 커버링 확률의 행렬 A를 사용하기 위해.

실험 결과

연구 질문

• RQ1 압축된 색상 코드화를 최적화하여 100억 개 이상의 간선을 가진 그래프에 대해 고정밀도를 유지하면서도 확장성을 확보할 수 있는가?
• RQ2 모든 그래프릿을 동시에 곱셈적 근사치를 제공하는 샘플링 전략을 설계할 수 있는가? (단순히 빈도 추정치만 제공하는 것과는 다름)
• RQ3 데이터 구조와 색상 히우리스틱을 어떻게 개선하여 색상 코드화 기반의 모티프 수 계산에서 시간과 메모리 오버헤드를 줄일 수 있는가?
• RQ4 집합 커버 원리에 기반한 적응형 샘플링 전략이 모티프 수 계산의 효율성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 특수한 하드웨어 없이도 단일 고성능 데스크톱 컴퓨터에서 대규모 모티프 수 계산을 수행하는 것이 가능한가?

주요 결과

• 모티보는 6,500만 개의 정점과 18억 개의 간선을 가진 그래프에서 7노드 모티프를 40분 만에 수치화한다. 이는 이전 최고 성능 대비 정점 수는 30배, 간선 수는 500배 더 큰 규모이다.
• 1시간 이내에 모티보는 이전 알고리즘이 두 번째로 흔한 모티프조차 식별하지 못하는 그래프에서 약 10,000종의 서로 다른 8노드 모티프를 정확하게 수치화한다.
• 모든 그래프릿에 동시에 곱셈적 근사치 보장을 달성하여 빈도가 높은 모티프뿐 아니라 극히 희귀한 모티프까지 신뢰할 수 있는 추정이 가능하다.
• 압축된 데이터 구조와 편향된 색상 부여 기법을 사용함으로써 모티보는 시간과 메모리 사용량을 크게 줄여 기존 색상 코드화 기반 접근 방식의 한계를 초월할 수 있다.
• 분수 집합 커버 기반의 적응형 샘플링 전략은 모든 그래프릿에 균형 잡힌 커버리지 보장을 제공함으로써 기존의 덧셈적 샘플링 방법보다 뛰어난 성능을 발휘한다.
• 모티보는 단일 고성능 데스크톱 컴퓨터에서 효율적으로 실행되며, 클러스터나 HPC 인프라 없이도 대규모 모티프 마이닝이 가능하다는 것을 입증한다.