[논문 리뷰] Path Sampling: A Fast and Provable Method for Estimating 4-Vertex Subgraph Counts

Madhav Jha, C. Seshadhri외 1명|arXiv (Cornell University)|2014. 11. 18.

Complex Network Analysis Techniques참고 문헌 30인용 수 17

한 줄 요약

이 논문은 3경로 샘플링과 분산 감소를 위한 가지치기 기법을 사용하여 거대한 그래프에서 6개의 연결된 4정점 부분그래프 수를 정확하게 추정하는 새로운 알고리즘인 Path Sampling을 제안한다. 3억 개의 간선을 가진 그래프에서도 분단 이내의 실행 시간을 달성하며, 기존의 순열 기반 방법과 비교해도 수십 배에서 수백 배 빠르며, 다양한 실세계 네트워크에서 상대 오차가 1% 이내를 유지한다.

ABSTRACT

Counting the frequency of small subgraphs is a fundamental technique in network analysis across various domains, most notably in bioinformatics and social networks. The special case of triangle counting has received much attention. Getting results for 4-vertex patterns is highly challenging, and there are few practical results known that can scale to massive sizes. Indeed, even a highly tuned enumeration code takes more than a day on a graph with millions of edges. Most previous work that runs for truly massive graphs employ clusters and massive parallelization. We provide a sampling algorithm that provably and accurately approximates the frequencies of all 4-vertex pattern subgraphs. Our algorithm is based on a novel technique of 3-path sampling and a special pruning scheme to decrease the variance in estimates. We provide theoretical proofs for the accuracy of our algorithm, and give formal bounds for the error and confidence of our estimates. We perform a detailed empirical study and show that our algorithm provides estimates within 1% relative error for all subpatterns (over a large class of test graphs), while being orders of magnitude faster than enumeration and other sampling based algorithms. Our algorithm takes less than a minute (on a single commodity machine) to process an Orkut social network with 300 million edges.

연구 동기 및 목표

• 거대한 실세계 그래프에서 모든 연결된 4정점 부분그래프 수를 추정하는 가용성과 정확성이 뛰어난 방법의 부족을 해결한다.
• 수백만 개의 간선을 가진 그래프에서는 정확한 순열 기반 계산이 불가능하게 되는 조합 폭발 문제를 해결한다.
• 모든 4정점 모티프에 대해 이론적으로 증명된 오차 한계와 신뢰구간을 제공하는 샘플링 기반 방법을 제안한다.
• 클러스터 수준의 병렬 처리가 필요 없이도 일반적인 머신에서 높은 정확도와 빠른 속도를 달성한다.
• 사회적 네트워크나 생물학적 네트워크와 같이 4정점 패턴이 네트워크 분류 및 모델링에 유용한 대규모 네트워크의 실용적 모티프 분석을 가능하게 한다.

제안 방법

• 4정점 부분그래프 빈도를 추정하기 위해 길이 3의 경로를 샘플링하는 3경로 샘플링 프레임워크를 제안한다.
• 중복되거나 기여도가 낮은 경로 샘플을 제거하여 추정치의 분산을 줄이는 새로운 가지치기 기법을 도입한다.
• 4정점 모티프의 구조적 특성을 활용하여 샘플된 3경로를 특정 모티프 유형으로 매핑하고, 알려진 확률 가중치를 적용한다.
• 집중부등식을 활용하여 이론적 오차 한계와 신뢰구간을 보장하는 랜덤 알고리즘을 사용한다.
• 전체 순열 계산이나 고비용의 색상 부여 기법이 필요 없도록 경로 기반 통계에 초점을 맞춘 샘플링 전략을 설계한다.
• Map-Reduce나 분산 시스템을 요구하지 않고도 1억 개 이상의 간선을 가진 그래프에 스케일링 가능한 단일 머신 환경에서 순차적으로 실행 가능한 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 샘플링 기반 방법이 거대한 그래프에서 모든 6개의 연결된 4정점 부분그래프 수를 이론적으로 정확하게 추정하고 낮은 오차로 추정할 수 있는가?
• RQ2 단일 머신 알고리즘이 4정점 모티프 수 추정에서 기존의 샘플링 및 순열 기반 방법보다 빠르고 정확한가?
• RQ3 어떤 가지치기 기법이 추정치에 편향을 주지 않으면서도 경로 기반 샘플링의 분산을 효과적으로 줄일 수 있는가?
• RQ4 3경로 샘플링 기법이 대규모 실세계 그래프에서 색상 부여 기법, GRAFT, GUISE와 비교해 실행 시간과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 3억 개의 간선을 가진 그래프에서 4정점 모티프 수 추정을 1분 이내로 처리하면서 상대 오차를 1% 이내로 유지하는 것이 가능한가?

주요 결과

• 3경로 샘플링 알고리즘은 오르쿨트 그래프(3억 간선 포함)를 포함한 다양한 실세계 그래프에서 모든 4정점 모티프 수 추정에 대해 상대 오차가 1% 미만을 유지한다.
• 오르쿨트 그래프에서 알고리즘은 단일 일반 머신에서 1분 이내에 완료되며, 정확한 순열 계산은 1일 이상 소요된다.
• 100만 개 이하의 간선을 가진 그래프에서 색상 부여 기법보다 100배 이상 빠르며, GRAFT와 GUISE보다 100~1000배 빠르다.
• 순열 계산 시간의 5배가 넘도록 실행된 후에도 GRAFT와 GUISE는 정확한 추정치에 수렴하지 못하며, 상대 오차가 50%를 초과한다.
• 색상 부여 기법은 3경로 샘플링보다 더 높은 정확도를 제공하지만, 100~1000배 느리므로 3경로 샘플링이 대규모 분석에 더 우수한 성능-정확도 트레이드오���이다.
• 가지치기 기법은 분산을 크게 줄여, 표준 경로 샘플링 방법보다 훨씬 적은 샘플 수로도 고정밀도 추정치를 가능하게 한다.