[论文解读] Enumerating Subgraph Instances Using Map-Reduce

Foto Afrati, Dimitris Fotakis+1 more|arXiv (Cornell University)|Aug 2, 2012

Graph Theory and Algorithms参考文献 19被引用 6

一句话总结

本文提出了一种单轮Map-Reduce框架，用于在大型数据图中高效枚举任意样本图的所有实例，同时最小化通信和计算成本。该框架利用优化的多路连接技术与选择性查询分解，实现通信最优性能，并在度数有界的图上实现计算复杂度等价的可转换算法。

ABSTRACT

The theme of this paper is how to find all instances of a given "sample" graph in a larger "data graph," using a single round of map-reduce. For the simplest sample graph, the triangle, we improve upon the best known such algorithm. We then examine the general case, considering both the communication cost between mappers and reducers and the total computation cost at the reducers. To minimize communication cost, we exploit the techniques of (Afrati and Ullman, TKDE 2011)for computing multiway joins (evaluating conjunctive queries) in a single map-reduce round. Several methods are shown for translating sample graphs into a union of conjunctive queries with as few queries as possible. We also address the matter of optimizing computation cost. Many serial algorithms are shown to be "convertible," in the sense that it is possible to partition the data graph, explore each partition in a separate reducer, and have the total computation cost at the reducers be of the same order as the computation cost of the serial algorithm.

研究动机与目标

• 设计一种可扩展的单轮Map-Reduce算法，用于在大型数据图中枚举给定样本图的所有实例。
• 通过利用选择性查询的最优多路连接技术，最小化mapper与reducer之间的通信成本。
• 确保reducer处的总计算成本与最佳串行算法的复杂度相匹配，实现“可转换性”。
• 在度数约束下分析性能表现，特别是当节点度数被限制为√m时。
• 将该框架扩展至带标签和有向图，并探索Map-Reduce中高效并行化的极限。

提出的方法

• 将样本图转换为选择性查询（CQ）的并集，以最小化查询数量并减少通信开销。
• 采用基于键的哈希策略，将边分布到reducer上，使得所有必需的子图组件被共置，从而最小化数据传输。
• 框架应用[2]中的技术，实现在单轮Map-Reduce中对多路连接进行最优评估，以降低通信成本。
• 为提高计算效率，将数据图进行分区，并将每个分区分配给独立的reducer，从而保持原始串行算法的工作复杂度。
• 引入基于条件的优化：当某些中间关系的大小满足特定约束时，算法切换到复杂度更低的执行路径。
• 通过将图表示为关系集合，并将子图实例表达为CQ的并集，该方法可处理带标签和有向图。

实验结果

研究问题

• RQ1 是否可以在单轮Map-Reduce中枚举任意样本图的所有实例，且通信成本接近最优？
• RQ2 如何最小化表示样本图所用的选择性查询数量，以减少通信与计算开销？
• RQ3 在何种条件下，可将串行子图枚举算法转换为总计算成本等价的并行Map-Reduce算法？
• RQ4 将数据图中节点度数限制为√m是否能带来可证明更优的可转换算法，从而降低通信与计算成本？
• RQ5 该框架在保持效率与正确性的前提下，能在多大程度上扩展以处理带标签或有向图？

主要发现

• 所提出的算法在多路连接评估中的通信成本达到了理论下限，因此在通信方面是最优的。
• 对于节点度数被限制为√m的数据图，本文提出了改进的可转换算法，其运行时间与子图出现次数的已知下限相匹配。
• 该框架确保reducer处的总计算成本与最佳已知串行算法处于同一数量级，实现了“可转换性”。
• 当查询计划中中间关系的大小满足特定不等式（例如，n₁n₅n₃ ≤ n₂n₄）时，算法切换到复杂度更低的执行路径，其成本为n₁n₅n₃，该值在该情况下既是上界也是下界。
• 通过将带标签和有向图表示为选择性查询的并集，该方法可推广至这些图类型，同时通过相同的底层优化技术保持效率。
• 所用reducer的数量受限于不同键的数量，且框架表明，在固定reducer数量下，减少reducer数量可降低通信成本。