[论文解读] Memetic Graph Clustering

Sonja Biedermann, Monika Henzinger+2 more|arXiv (Cornell University)|Jan 1, 2018

Complex Network Analysis Techniques参考文献 13被引用 4

一句话总结

该论文提出VieClus，一种用于图聚类的通用记忆启发式算法，结合了多层图粗化、基于集成的重组算子和局部搜索，以优化模块度。该算法在大多数小型实例上不到一分钟内即实现了10th DIMACS实现挑战中的所有条目或更优结果，通过可扩展的并行化实现低运行时间下的高质量解，展现出卓越性能。

ABSTRACT

It is common knowledge that there is no single best strategy for graph clustering, which justifies a plethora of existing approaches. In this paper, we present a general memetic algorithm, VieClus, to tackle the graph clustering problem. This algorithm can be adapted to optimize different objective functions. A key component of our contribution are natural recombine operators that employ ensemble clusterings as well as multi-level techniques. Lastly, we combine these techniques with a scalable communication protocol, producing a system that is able to compute high-quality solutions in a short amount of time. We instantiate our scheme with local search for modularity and show that our algorithm successfully improves or reproduces all entries of the 10th DIMACS implementation~challenge under consideration using a small amount of time.

研究动机与目标

• 开发一种通用的记忆启发式算法用于图聚类，可适配多种目标函数。
• 解决现有方法因过度依赖局部搜索而常陷入局部最优的局限性。
• 通过将多层粗化与进化算子结合，提升解的质量和收敛速度。
• 通过支持并行执行的通信协议，实现可扩展的高性能聚类。
• 在10th DIMACS实现挑战的模块度最大化基准上超越现有求解器。

提出的方法

• 该算法采用多层框架，递归地对图进行粗化，以在更粗的层次上实现全局探索。
• 以集成聚类作为重组的基础：通过叠加（即簇成员关系的交集）将两个聚类组合，生成新的后代。
• 通过随机化冲突解决策略增强重组过程，以保持种群多样性并避免过早收敛。
• 对后代应用局部搜索以优化解并提高模块度，利用多层结构实现高效精炼。
• 通过可扩展的通信协议支持跨多个处理器的并行执行，加速收敛。
• 该算法以局部搜索为实例化方式用于模块度优化，并在标准DIMACS基准上进行评估。

实验结果

研究问题

• RQ1 具有基于集成的重组机制的通用记忆启发式算法，是否能在10th DIMACS图聚类挑战中超越现有最先进求解器？
• RQ2 多层粗化与集成重组的结合，在提升解质量与收敛速度方面效果如何？
• RQ3 单一算法在多类图类型与规模下，能在多大程度上替代多种专用求解器？
• RQ4 重组过程中冲突解决的随机化对种群多样性和最终解质量有何影响？
• RQ5 所提出的算法是否能在短时间内于小型和大规模图上均实现高质量的模块度结果？

主要发现

• VieClus成功改进或复现了10th DIMACS实现挑战中所有模块度聚类条目，大多数小型实例在不到一分钟内即获得更优结果。
• 在多个基准图上，包括astro-ph（Q = 0.745246）、cond-mat-2005（Q = 0.747181）和power（Q = 0.940974），该算法报告的模块度高于以往最佳结果。
• 该算法能快速实现高质量解，收敛图显示在初始种群生成阶段后解质量迅速提升。
• 集成重组与多层粗化的结合有效探索了解空间，避免了过早收敛。
• 可扩展的通信协议支持高效并行执行，使该算法在大规模图上具有实际应用价值。
• 结果表明，VieClus是基于模块度的图聚类领域的新一代最先进启发式算法，能够以单一统一框架替代多种专用求解器。