[论文解读] A Survey on Methods and Systems for Graph Compression

Sebastian Maneth, Fabian Peternek|arXiv (Cornell University)|Apr 2, 2015

Graph Theory and Algorithms参考文献 34被引用 20

一句话总结

本综述全面概述了无损与有损图压缩技术，重点聚焦于紧凑表示、结构压缩以及大规模图的I/O高效方法。评估了压缩比、查询支持（例如可达性、邻接查询）以及在真实和合成图上的性能表现，突出显示PReaCH是在大规模有向图中实现可达性查询的最先进系统。

ABSTRACT

We present an informal survey (meant to accompany another paper) on graph compression methods. We focus on lossless methods, briefly list available pproaches, and compare them where possible or give some indicators on their compression ratios. We also mention some relevant results from the field of lossy compression and algorithms specialized for the use on large graphs. --- Note: The comparison is by no means complete. This document is a first draft and will be updated and extended.

研究动机与目标

• 对现有的无损图压缩方法（包括紧凑表示和结构化方法）进行综述与比较。
• 从每条边的比特数（bpe）以及对高效图查询的支持角度，评估压缩技术的有效性。
• 考察专为外部内存和I/O高效图处理优化的系统，尤其针对大规模图。
• 识别图表示中压缩比、查询性能与预处理开销之间的关键权衡。
• 突出展示PReaCH等最先进系统在可达性查询中的表现及其在真实世界图上的性能。

提出的方法

• 将图压缩分为紧凑表示（在信息论下限内加上o(n)比特）和结构压缩（用标识符替换重复模式）。
• 回顾理论方法，如针对平面图的Turán编码、基于页号的Jacobson编码，以及Farzan和Munro针对一般图的使用紧凑数据结构的表示方法。
• 分析实际系统如PReaCH，其采用分区与标记策略，以在压缩图上实现快速可达性查询。
• 研究通过DAG增强实现的标签约束可达性查询，以及基于Dijkstra的算法，同时探讨通过随机集合包含检查实现性能提升。
• 讨论基于矩阵分解的压缩方法（如Nourbakhsh等人提出的），以及基于度数的重排方法（Kang和Faloutsos），以实现与外部内存和MapReduce的兼容性。
• 综述外部内存中的I/O高效算法，包括GraphChi，以及Meyer及其同事提出的I/O优化BFS和最短路径方法。

实验结果

研究问题

• RQ1 在减少存储使用的同时，哪些无损图压缩技术在支持高效查询方面最为有效？
• RQ2 在不同图族（如平面图、有界亏格图、幂律图）中，紧凑表示在压缩比和查询效率方面如何比较？
• RQ3 结构压缩与矩阵分解在不牺牲查询支持的前提下，能在多大程度上减小图表示的大小？
• RQ4 如GraphChi和I/O优化BFS算法等I/O高效系统，如何处理存储在外部内存中的大型图？
• RQ5 在现代图压缩系统中，压缩比、查询速度与预处理成本之间的权衡是什么？

主要发现

• PReaCH在大规模有向图的可达性查询中实现了最先进性能，可在无需完全解压的情况下高效回答查询。
• 如Jacobson和Farzan-Munro的紧凑表示方法，其空间使用量仅比信息论下限的对数因子略高。
• Turán的方法可将无向平面图压缩至≤12n比特，带标签版本压缩至n⌈log₂n⌉ + 12n比特，利用生成树与循环序列。
• Kang和Faloutsos的方法通过递归基于度数的重排与gzip压缩，在幂律图上实现7–16 bpe，支持基于块的矩阵运算。
• Nourbakhsh等人基于矩阵分解的方法可将邻接矩阵压缩至(n + k²)大小，但可能为有损压缩，且依赖于分解质量。
• GraphChi支持高效的外部内存计算——例如，在SSD上对38亿条边的图运行100次PageRank迭代仅耗时约581分钟，仅比30个节点集群慢4倍。