[論文レビュー] GraphZip: Dictionary-based Compression for Mining Graph Streams

Charles Packer, Lawrence B. Holder|arXiv (Cornell University)|Mar 24, 2017

Data Mining Algorithms and Applications参考文献 28被引用数 3

ひとこと要約

GraphZipは、Lempel-Zivアルゴリズムにインspiredされた辞書ベースの圧縮手法を用い、グラフストリームから最大圧縮をもたらす部分グラフパターンを抽出する。最小記述長（MDL）原理を適用することで、リアルタイムで複雑で洞察に満ちたパターンを効率的に同定でき、大規模な実世界および合成グラフにおいて、最新の手法を凌駆する速度とスケーラビリティを実現する。

ABSTRACT

A massive amount of data generated today on platforms such as social networks, telecommunication networks, and the internet in general can be represented as graph streams. Activity in a network's underlying graph generates a sequence of edges in the form of a stream; for example, a social network may generate a graph stream based on the interactions (edges) between different users (nodes) over time. While many graph mining algorithms have already been developed for analyzing relatively small graphs, graphs that begin to approach the size of real-world networks stress the limitations of such methods due to their dynamic nature and the substantial number of nodes and connections involved. In this paper we present GraphZip, a scalable method for mining interesting patterns in graph streams. GraphZip is inspired by the Lempel-Ziv (LZ) class of compression algorithms, and uses a novel dictionary-based compression approach in conjunction with the minimum description length principle to discover maximally-compressing patterns in a graph stream. We experimentally show that GraphZip is able to retrieve complex and insightful patterns from large real-world graphs and artificially-generated graphs with ground truth patterns. Additionally, our results demonstrate that GraphZip is both highly efficient and highly effective compared to existing state-of-the-art methods for mining graph streams.

研究の動機と目的

• ソーシャルネットワークや通信システムなど、大規模で動的変化する実世界のグラフに対して、従来のグラフマイニングアルゴリズムのスケーラビリティの限界を克服すること。
• エッジが継続的に到着し、メインメモリに保持できないようなグラフストリームにおいて、効率的でリアルタイムな分析を可能にすること。
• 圧縮をパターンの重要性の代理指標として用いることで、興味深く、高圧縮性の部分グラフパターンを発見すること。
• 時間的・メモリ的制約が厳しい環境下でも、スケーラブルでストリーミング処理に適したグラフマイニングフレームワークを構築すること。
• 辞書ベースの手法による圧縮駆動型パターン発見が、大規模なグラフストリームから複雑で意味のある部分構造を効果的に抽出できることを示すこと。

提案手法

• GraphZipは、Lempel-Ziv（LZ）アルゴリズム族にインspiredされた辞書ベースの圧縮アプローチを採用し、繰り返し現れる部分グラフパターンをコンパクトなシンボルに置き換える。
• 部分グラフがグラフストリームを最大限に圧縮するように、最小記述長（MDL）原理を適用してパターンを同定する。
• アルゴリズムはグラフストリームをバッチ単位で処理し、各バッチにおいて、既存の辞書パターンの部分グラフ同型（埋め込み）をVF2アルゴリズムを用いて同定する。
• 各埋め込みに対して、両方向に1エッジずつ拡張し、圧縮効果が向上する場合は、新たな拡張パターンを辞書に追加する。
• 既存のパターンでカバーされない残りのエッジは、単一エッジのパターンとして辞書に追加する。
• 動的にパターン辞書を構築することで、最も圧縮効果の高い部分構造を捉え、これがグラフストリームにおける興味深いパターンの代理として機能する。

実験結果

リサーチクエスチョン

• RQ1 圧縮に基づくアプローチは、大規模で動的変化するグラフストリームにおいて、意味的で複雑な部分グラフパターンを効果的に同定できるか？
• RQ2 GraphZipの性能は、最新のストリーミングおよび非ストリーミンググラフマイニング手法と比較して、速度と正確性の面で優れているか？
• RQ3 限られたメモリと1パス処理の制約のもとで、GraphZipはどの程度リアルタイムでグラフストリームを処理できるか？
• RQ4 最小記述長（MDL）原理の適用により、高圧縮性でありながら意味的に洞察に満ちたパターンが発見されるか？
• RQ5 バッチサイズや辞書サイズといったパrameterの選択が、アルゴリズムの時間計算量とスケーラビリティにどの程度影響を与えるか？

主な発見

• GraphZipは、Twitterグラフストリームを含む大規模な実世界グラフから、実ストリームレート（1秒あたり0.93ツイート）をはるかに上回る速度で、複雑で洞察に満ちたパターンを効果的に抽出できた。
• 真値パターンが既知の人工的に生成されたグラフに対して実施した実験では、GraphZipは最新の手法と同等の正確性を達成したが、はるかに高速であった。
• GraphZipは、Twitterグラフストリーム全体を80時間未満で処理したが、ストリームレートは1秒あたり0.93ツイートにとどまり、リアルタイム処理が可能であることが示された。
• 多様な実世界データセットにおいて、効率性と有効性の両面で、ストリーミングおよび非ストリーミングの最新手法をすべて凌駆した。
• 理論的計算量解析の結果、アルゴリズムの実行時間は理論的にはO(θ² × α!)と表されるが、パrameterを固定した場合、バッチあたり定数時間の計算量であるため、実際にはグラフサイズに比例して線形にスケーリングされる。
• 主な計算コストは部分グラフ同型チェックに起因しており、今後の研究では近似アルゴリズムの導入により、さらに効率性を向上させる必要があることが示された。