[논문 리뷰] SNAP: A General Purpose Network Analysis and Graph Mining Library

Jure Leskovec, Rok Sosič|arXiv (Cornell University)|2016. 06. 24.

Complex Network Analysis Techniques참고 문헌 48인용 수 127

한 줄 요약

SNAP은 단일 큰 메모리 머신에서 대규모 네트워크 분석 및 그래프 마이닝을 위한 고성능의 오픈 소스 C++(Python 모듈 포함) 라이브러리로, 동적 그래프를 지원하며 8개의 그래프 유형, 20개의 생성기, 20개의 조작 방법에 걸쳐 200개가 넘는 함수들을 제공합니다.

ABSTRACT

Large networks are becoming a widely used abstraction for studying complex systems in a broad set of disciplines, ranging from social network analysis to molecular biology and neuroscience. Despite an increasing need to analyze and manipulate large networks, only a limited number of tools are available for this task. Here, we describe Stanford Network Analysis Platform (SNAP), a general-purpose, high-performance system that provides easy to use, high-level operations for analysis and manipulation of large networks. We present SNAP functionality, describe its implementational details, and give performance benchmarks. SNAP has been developed for single big-memory machines and it balances the trade-off between maximum performance, compact in-memory graph representation, and the ability to handle dynamic graphs where nodes and edges are being added or removed over time. SNAP can process massive networks with hundreds of millions of nodes and billions of edges. SNAP offers over 140 different graph algorithms that can efficiently manipulate large graphs, calculate structural properties, generate regular and random graphs, and handle attributes and meta-data on nodes and edges. Besides being able to handle large graphs, an additional strength of SNAP is that networks and their attributes are fully dynamic, they can be modified during the computation at low cost. SNAP is provided as an open source library in C++ as well as a module in Python. We also describe the Stanford Large Network Dataset, a set of social and information real-world networks and datasets, which we make publicly available. The collection is a complementary resource to our SNAP software and is widely used for development and benchmarking of graph analytics algorithms.

연구 동기 및 목표

• 단일 머신에서 수억 개의 노드를 가진 그래프를 처리할 수 있는 확장 가능하고 유연한 네트워크 분석 도구의 필요성을 제시한다.
• 성능, 메모리 사용량, 동적 그래프 기능의 균형을 이룬 SNAP의 아키텍처, 데이터 구조 및 구현 세부 정보를 설명한다.
• 그래프 생성, 조작 및 분석 방법의 포괄적 세트를 제시한다.
• 단일 머신 시스템과의 벤치마크를 통해 속도 및 메모리 효율성의 이점을 입증한다.

제안 방법

• 다수의 그래프 유형(유도 그래프, 무향 그래프, 다중 그래프, 속성 포함) 간 인터페이스를 통합하는 그래프 및 네트워크 컨테이너 추상화를 소개한다.
• 유연성과 속도의 균형을 맞추기 위해 정렬된 인접 벡터를 사용하는 노드 해시 테이블을 활용한 컴팩트한 메모리 내 표현을 설명한다.
• 알고리즘이 컨테이너에 독립적이고 그래프 유형 간에 재사용 가능하도록 균일한 이터레이터 기반 API를 제공한다.
• 참조 카운팅을 통한 메모리 관리 및 그래프의 이진(빠른) 디스크 로드/저장을 상세히 설명한다.
• 생성기, 조작 및 분석을 포함하여 140개가 넘는 그래프 알고리즘과 200개 총 기능에 대한 개요를 제시한다.
• 성능 및 메모리 사용을 기준으로 SNAP를 NetworkX와 iGraph와 비교하는 벤치마크 방법론.

실험 결과

연구 질문

• RQ1 SNAP의 데이터 구조와 계층 구성이 단일 머신에서 매우 큰 그래프를 확장 가능한 분석으로 가능하게 하는가?
• RQ2 SNAP의 핵심 기능(컨테이너, 제너레이터, 알고리즘)은 무엇이며 성능 및 메모리 효율성 측면에서 기존 도구와 어떻게 비교되는가?
• RQ3 온라인 수정이 필요한 동적 그래프를 높은 성능을 유지하면서 효율적으로 지원할 수 있는가?
• RQ4 대규모 네트워크에서 속도와 메모리 사용 측면에서 SNAP이 기존 라이브러리(NetworkX, iGraph) 대비 어떤 성과를 보이는가?
• RQ5 SNAP 내에서 커뮤니티 탐지, 링크 예측, 확산 및 기타 그래프 분석의 범위는 무엇인가?

주요 결과

• SNAP은 단일 머신에서 수억 개의 노드와 수십억 개의 엣지를 가진 네트워크를 처리할 수 있다.
• SNAP은 8 그래프/네트워크 유형, 20개 생성기, 20개 조작 방법에 걸쳐 140개가 넘는 그래프 알고리즘과 200개가 넘는 기능을 제공한다.
• NetworkX와 비교할 때 SNAP은 약 1–2의 규모 차이만큼 더 빠르고 메모리 사용량은 약 50배 덜 사용하여 동일 하드웨어에서 더 크거나 더 빠른 분석을 가능하게 한다.
• iGraph와 비교할 때 SNAP은 약 3배 적은 메모리를 사용하며 동적 그래프 수정에 대해 훨씬 더 유연하고, 사용 사례에 따라 일부 알고리즘은 훨씬 더 빠르거나 느릴 수 있다.
• SNAP의 설계는 계산 중 네트워크를 동적으로 수정할 수 있게 하며 저비용으로 온라인 또는 스트리밍 그래프 워크로드의 핵심 강점이다.