[论文解读] Distributing an Exact Algorithm for Maximum Clique: maximising the costup

Ciaran McCreesh, Patrick Prosser|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Sep 20, 2012

Cryptography and Data Security参考文献 26被引用 48

一句话总结

本文提出了一种轻量级、分布式的MC精确算法扩展，用于最大团问题，通过极少的代码修改，即可在一组联网机器上实现高效的并行执行。通过将搜索空间分解为独立的子问题，并利用SSH和NFS，该方法在50台机器上实现了最高42.3倍的加速，证明了在低开发成本下获得显著性能提升的可行性。

ABSTRACT

We take an existing implementation of an algorithm for the maximum clique problem and modify it so that we can distribute it over an ad-hoc cluster of machines. Our goal was to achieve a significant speedup in performance with minimal development effort, i.e. a maximum costup. We present a simple modification to a state-of-the-art exact algorithm for maximum clique that allows us to distribute it across many machines. An empirical study over large hard benchmarks shows that speedups of an order of magnitude are routine for 25 or more machines.

研究动机与目标

• 通过将现有精确的最大团算法分布到一组未充分利用的机器上，实现高性价比——即性能提升超过成本增加。
• 在仅使用SSH、NFS和Java、不修改底层算法核心逻辑的前提下，最小化开发工作量，同时最大化性能提升。
• 评估粗粒度任务分发在困难的最大团基准测试中的有效性，特别是考虑网络I/O和机器不稳定等现实约束条件。
• 探索在临时集群环境中，分发粒度、容错能力与性能瓶颈之间的实际权衡。

提出的方法

• 将MC算法修改为将搜索空间划分为独立的子问题，通过SSH分配给各台机器，并通过共享的NFS挂载目录聚合结果。
• 每个工作进程在从初始候选集派生的独立子问题上运行原始MC算法，使用基于颜色的上界来剪枝搜索树。
• 通过随机顺序分发任务以减少竞争；每个任务开始时读取迄今找到的最佳团，结束时写入，以实现全局进度传播。
• 通过NFS持久化实现容错：失败的任务可通过检查共享结果目录中缺失的结果重新执行。
• 系统采用两级分解：第一级基于初始顶点选择划分搜索空间，第二级进一步细分剩余子问题以实现负载均衡。
• 通过共享文件监控性能，记录迄今找到的最佳团，定期更新以减少长尾延迟，但NFS锁限制了更新频率。

实验结果

研究问题

• RQ1 对现有精确最大团算法进行最小修改，是否能在异构、非专用的网络机器集群上实现显著加速？
• RQ2 在共享存储和基于SSH的任务分发集群中，分布式I/O和网络通信的开销在多大程度上限制了可扩展性？
• RQ3 任务粒度的选择如何影响负载均衡和整体性能，特别是在存在长尾子问题的情况下？
• RQ4 在机器宕机和共享资源有限等现实约束下，系统是否能实现有意义的性价比——即性能提升超过成本增加？

主要发现

• 在50台机器上运行frb35-17-3实例时，最高实现了42.3倍的加速，总运行时间11小时，而单台机器需超过13天。
• 对于frb35-17-1实例，分布式系统在7小时内完成求解，而单台机器需一周以上，展现出显著的性能提升。
• 在硬性基准测试中，使用25台或更多机器时，通常可实现一个数量级的加速，证实了该方法的可扩展性。
• 尽管存在显著的I/O和网络开销，系统仍因NFS持久化而对机器故障具有鲁棒性，失败任务可轻松重启，影响极小。
• 在某些情况下，长尾问题依然存在，特别是当少数子问题占用了大部分运行时间，表明需要更细粒度的分发或工作窃取机制以实现进一步加速。
• 作者总结认为，该方法实现了强劲的性价比，因为性能提升远超使用大量未充分利用机器在短时间内带来的成本。