[논문 리뷰] Estimation of Graphlet Statistics

Ryan A. Rossi, Rong Zhou외 1명|arXiv (Cornell University)|2017. 01. 06.

Advanced Graph Neural Networks참고 문헌 36인용 수 12

한 줄 요약

이 논문은 엣지 중심 샘플링을 사용하여 거대한 네트워크에서 연결된 및 비연결된 그래프릿 수를 근사함으로써 빠르고 확장 가능하며 정확한 비편향 추정 프레임워크를 제안한다. 빌리언 엣지 그래프에서 몇 초 내에 <1% 상대 오차를 달성하며, 이는 이전 방법보다 수 개의 주기 빠르며, 병렬 처리 및 사용자 정의 정확도 기준에 맞는 적응형 샘플 크기 선택을 지원한다.

ABSTRACT

Graphlets are induced subgraphs of a large network and are important for understanding and modeling complex networks. Despite their practical importance, graphlets have been severely limited to applications and domains with relatively small graphs. Most previous work has focused on exact algorithms, however, it is often too expensive to compute graphlets exactly in massive networks with billions of edges, and finding an approximate count is usually sufficient for many applications. In this work, we propose an unbiased graphlet estimation framework that is (a) fast with significant speedups compared to the state-of-the-art, (b) parallel with nearly linear-speedups, (c) accurate with &lt;1% relative error, (d) scalable and space-efficient for massive networks with billions of edges, and (e) flexible for a variety of real-world settings, as well as estimating macro and micro-level graphlet statistics (e.g., counts) of both connected and disconnected graphlets. In addition, an adaptive approach is introduced that finds the smallest sample size required to obtain estimates within a given user-defined error bound. On 300 networks from 20 domains, we obtain &lt;1% relative error for all graphlets. This is significantly more accurate than existing methods while using less data. Moreover, it takes a few seconds on billion edge graphs (as opposed to days/weeks). These are by far the largest graphlet computations to date.

연구 동기 및 목표

• 수십억 개의 엣지를 가진 거대한 네트워크에서 정확한 그래프릿 계산의 확장성 한계를 해결하기 위해.
• 맥로 및 마이크로 수준에서 연결된 및 비연결된 그래프릿 통계를 정확하고 효율적으로 추정할 수 있도록 하기 위해.
• 정확도, 속도, 자원 사용량을 균형 잡고 자원 절약형이며 병렬 처리가 가능한 비편향 추정 프레임워크를 개발하기 위해.
• 일부 응용 프로그램의 계산 시간을 일주일에서 몇 초로 단축시켜 실시간 및 상호작용 가능한 그래프 마이닝 응용 프로그램을 지원하기 위해.
• 연결된 모티프를 넘어서 비연결된 부분 그래프를 포함하여 그래프릿 분석을 확장함으로써 분류 및 모델링 향상에 기여하기 위해.

제안 방법

• 엣지 유도 이웃 영역을 샘플링하여 비편향 추정치를 계산하는 엣지 중심 추정 프레임워크를 제안한다.
• 지역 엣지 이웃 영역에서 유도된 새로운 충분통계를 사용하여 연결된 것뿐만 아니라 비연결된 그래프릿의 전체 스펙트럼을 추정한다.
• 엄격한 오차 경계를 보장하는 비편향 추정기를 사용하여 최소한의 자료로 정확한 근사치를 제공한다.
• 사용자가 정의한 오차 기준을 충족시키기 위해 필요한 최소 샘플 크기를 자동으로 결정하는 적응형 샘플링 전략을 도입한다.
• 공유 메모리 및 분산 메모리 아키텍처를 위한 병렬 알고리즘을 설계하여 다양한 네트워크 유형에서 거의 선형적 성능 향상을 달성한다.
• 실시간 상호작용 쿼리에 하위 밀리초 이내 응답 시간을 제공하기 위해 웹 기반 시각화 분석 플랫폼에 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 수십억 개의 엣지를 가진 거대한 네트워크에서 그래프릿 통계를 정확하고 효율적으로 추정할 수 있는가?
• RQ2 연결된 및 비연결된 그래프릿을 높은 정확도와 낮은 계산 비용으로 추정할 수 있는가?
• RQ3 사용자가 정의한 오차 기준을 충족시키기 위해 필요한 최소 샘플 크기는 얼마인가?
• RQ4 이론적 성능 향상에 가까운 선형 성능 향상을 달성하기 위해 추정 프레임워크를 효과적으로 병렬 처리할 수 있는가?
• RQ5 이 프레임워크는 실시간 상호작용 가능한 그래프 분석 및 머신러닝 응용 프로그램을 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 20개의 다양한 도메인에서 온 300개의 실제 네트워크에서 모두 <1% 상대 오차를 달성하였으며, 기존 방법보다 정확도와 효율성 면에서 뚜렷한 승리를 거두었다.
• 수십억 엣지 그래프에서 계산 시간이 일주일 또는 수주에서 단 몇 초로 단축되어 최신 정확한 및 근사 방법에 비해 수 개의 주기 빠른 성능 향상을 보였다.
• flickr 네트워크에서 3-path 샘플링 히우리스틱보다 8,047배 더 빠르며, 일부 경우에서는 정확한 알고리즘보다도 더 빠르게 작동한다.
• 병렬 구현은 다양한 유형의 그래프에서 거의 선형적 성능 향상을 보이며, 공유 메모리 및 분산 메모리 아키텍처에서 강력한 확장성을 입증한다.
• 적응형 샘플링은 정확도를 유지하면서 자료 사용량을 줄여 사용자가 샘플 크기를 수동으로 조정할 필요 없이도 된다.
• 이 프레임워크는 연결 및 비연결 그래프릿의 전체 스펙트럼 분석을 포함하여 지금까지 가장 큰 그래프릿 계산을 가능하게 하였다.