[논문 리뷰] GraphZip: Dictionary-based Compression for Mining Graph Streams

Charles Packer, Lawrence B. Holder|arXiv (Cornell University)|2017. 03. 24.

Data Mining Algorithms and Applications참고 문헌 28인용 수 3

한 줄 요약

GraphZip는 그래프 스트림에서 최대 압축을 이루는 부분그래프 패턴을 추출하기 위해 Lempel-Ziv 알고리즘에 영감을 받은 사전 기반 압축 방법을 제안한다. 최소 기술 길이 원칙을 적용하여 실시간으로 복잡하고 통찰력 있는 패턴을 효율적으로 식별하며, 대규모 실생활 및 합성 그래프에서 최신 기술 대비 속도와 확장성 면에서 뛰어난 성능을 보인다.

ABSTRACT

A massive amount of data generated today on platforms such as social networks, telecommunication networks, and the internet in general can be represented as graph streams. Activity in a network's underlying graph generates a sequence of edges in the form of a stream; for example, a social network may generate a graph stream based on the interactions (edges) between different users (nodes) over time. While many graph mining algorithms have already been developed for analyzing relatively small graphs, graphs that begin to approach the size of real-world networks stress the limitations of such methods due to their dynamic nature and the substantial number of nodes and connections involved. In this paper we present GraphZip, a scalable method for mining interesting patterns in graph streams. GraphZip is inspired by the Lempel-Ziv (LZ) class of compression algorithms, and uses a novel dictionary-based compression approach in conjunction with the minimum description length principle to discover maximally-compressing patterns in a graph stream. We experimentally show that GraphZip is able to retrieve complex and insightful patterns from large real-world graphs and artificially-generated graphs with ground truth patterns. Additionally, our results demonstrate that GraphZip is both highly efficient and highly effective compared to existing state-of-the-art methods for mining graph streams.

연구 동기 및 목표

• 소셜 네트워크 및 통신 시스템과 같은 대규모 동적 실생활 그래프에서 기존 그래프 탐색 알고리즘의 확장성 한계를 해결하기 위해.
• 연속적으로 도착하는 간선을 메인 메모리에 저장할 수 없는 실시간 그래프 스트림에서 효율적인 분석을 가능하게 하기 위해.
• 압축을 패턴의 중요성에 대한 대체 지표로 활용하여 흥미로운, 높은 압축률을 보이는 부분그래프 패턴을 발견하기 위해.
• 엄격한 시간 및 메모리 제약 조건 내에서 작동하는 확장성 있고 스트리밍 호환 가능한 그래프 탐색 프레임워크를 개발하기 위해.
• 사전 기반 방법을 활용한 압축 기반 패턴 탐색이 대규모 그래프 스트림에서 복잡하고 의미 있는 부분 구조를 효과적으로 복원할 수 있음을 입증하기 위해.

제안 방법

• GraphZip는 반복되는 부분그래프 패턴을 압축된 기호로 대체하는 사전 기반 압축 접근법을 사용하며, 이는 Lempel-Ziv(LZ) 알고리즘 가족에 영감을 받았다.
• 최소 기술 길이(MDL) 원칙을 적용하여 그래프 스트림의 최대 압축을 이룰 수 있는 부분그래프를 식별한다.
• 알고리즘은 그래프 스트림을 배치 단위로 처리하며, 각 배치에서 기존 사전 패턴의 부분그래프 동형사상(임bedding)을 VF2 알고리즘을 사용해 식별한다.
• 각 임베딩에 대해 패턴을 양방향으로 한 개의 간선씩 확장하고, 압축률 향상이 이루어지면 새로운 확장된 패턴을 사전에 추가한다.
• 기존 패턴에 의해 커버되지 않은 나머지 간선은 단일 간선 패턴으로 사전에 추가한다.
• 이 방법은 가장 높은 압축률을 보이는 부분구조를 포괄하는 동적 패턴 사전을 구축하며, 이는 그래프 스트림에서 흥미로운 패턴의 대체 지표로 기능한다.

실험 결과

연구 질문

• RQ1 압축 기반 접근법이 대규모 동적 그래프 스트림에서 의미 있고 복잡한 부분그래프 패턴을 효과적으로 식별할 수 있는가?
• RQ2 GraphZip의 성능은 스트리밍 및 비스트리밍 최신 기술 대비 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 제한된 메모리와 단일 패assing 처리 조건 하에서 GraphZip가 그래프 스트림을 얼마나 실시간으로 처리할 수 있는가?
• RQ4 최소 기술 길이 원칙의 사용이 높은 압축률과 동시에 의미 있는 통찰을 제공하는 패턴을 발견하는 데 기여하는가?
• RQ5 배치 크기 및 사전 크기와 같은 파라미터 선택이 알고리즘의 시간 복잡도와 확장성에 어떤 영향을 미치는가?

주요 결과

• GraphZip는 실제 그래프 스트림인 트위터 스트림에서 0.93 트윗/초의 실제 스트림 속도를 훨씬 뛰어난 속도로 대규모 실생활 그래프에서 복잡하고 통찰력 있는 패턴을 효과적으로 복원했다.
• 지식 기반 패턴이 있는 인위적으로 생성된 그래프에서의 실험 결과, GraphZip는 최신 기술 대비 유사한 정확도를 확보했지만 훨씬 빠른 속도를 기록했다.
• GraphZip는 전체 트위터 그래프 스트림을 80시간 이내에 처리했으며, 이는 스트림 속도 0.93 트윗/초에 비해 실시간 처리 가능성의 증거로 간주된다.
• 다양한 실생활 데이터셋에서 효율성과 효과성 측면에서 모두 스트리밍 및 비스트리밍 최신 기술 대비 뛰어난 성능을 보였다.
• 이론적 복잡도 분석 결과, 알고리즘의 런타임은 이론적으로 O(θ² × α!)이지만, 고정된 파라미터를 가정할 경우 배치당 일정 시간 복잡도를 가지므로 실질적으로 그래프 크기와 선형적으로 확장됨을 보였다.
• 주요 계산 비용은 부분그래프 동형사상 검사에서 기인하며, 향후 효율성 향상을 위해 근사 알고리즘이 필요함을 시사한다.