[论文解读] A GPU implementation of the Simulated Annealing Heuristic for the Quadratic Assignment Problem

Gerald Paul|arXiv (Cornell University)|Aug 13, 2012

Vehicle Routing Optimization Methods参考文献 15被引用 6

一句话总结

本文提出了一种针对二次分配问题（QAP）的模拟退火启发式算法的GPU加速实现，利用增量矩阵方法并行计算所有交换成本。该方法在大规模迭代次数下相较高度优化的非并行CPU实现获得50–100倍的加速，相较于传统SA方法最高达10,000倍的性能提升，得益于算法与硬件的联合优化。

ABSTRACT

The quadratic assignment problem (QAP) is one of the most difficult combinatorial optimization problems. An effective heuristic for obtaining approximate solutions to the QAP is simulated annealing (SA). Here we describe an SA implementation for the QAP which runs on a graphics processing unit (GPU). GPUs are composed of low cost commodity graphics chips which in combination provide a powerful platform for general purpose parallel computing. For SA runs with large numbers of iterations, we find performance 50-100 times better than that of a recent non-parallel but very efficient implementation of SA for the QAP

研究动机与目标

• 为加速求解NP难的二次分配问题（QAP），这是最具有挑战性的组合优化问题之一。
• 在GPU上高效实现模拟退火启发式算法，以支持获得高质量解所必需的大规模迭代次数。
• 通过保留原始SA逻辑的同时利用GPU并行性，维持算法的正确性。
• 克服传统SA实现中因每次重新计算交换成本而导致的性能瓶颈。

提出的方法

• 采用增量矩阵方法，预先计算并维护所有可能交换（i,j）的代价变化Δi,j，并行执行。
• 使用CUDA在NVIDIA Tesla C2070 GPU上实现SA启发式算法，每个线程负责一次交换计算。
• 在线程块内使用屏障同步机制，协调对共享数据结构（如排列和增量矩阵）的更新。
• 将线程块数量限制为SM数量，以防止同步期间发生跨块死锁。
• 在每次接受交换后，原地更新排列和增量矩阵，确保所有线程间的一致性。
• 对温度T应用降温策略，并使用均匀随机变量r以概率方式接受代价增加的交换。

实验结果

研究问题

• RQ1 能否在GPU上有效并行化QAP的模拟退火启发式算法，从而实现显著的性能提升？
• RQ2 对于大规模迭代次数，基于GPU的SA实现相较于高度优化的非并行CPU版本性能如何？
• RQ3 在GPU内存与同步约束下，支持并行交换成本计算的增量矩阵方法是否仍具高效性？
• RQ4 通过结合算法优化（增量矩阵）与GPU并行性，QAP问题的最大性能提升可达多少？
• RQ5 GPU实现是否能在不修改启发式逻辑的前提下，产生与传统CPU版本统计上无差异的结果？

主要发现

• 对于大规模迭代次数（I ≥ 10^4），GPU实现相较高度优化的非并行CPU实现（采用增量矩阵SA启发式）获得50–100倍的性能提升。
• 性能提升在约10^7次迭代后趋于平稳，此时初始低接受率阶段的开销可忽略不计。
• 由于算法与硬件加速的协同效应，GPU版本相较传统SA实现（无增量矩阵）最高提速达10,000倍。
• 增量矩阵方法通过允许GPU线程并行执行所有交换成本计算，实现了高效的并行化。
• 线程块间的同步通过自定义机制管理，通过将块数限制为SM数量，防止了死锁。
• GPU实现产生的结果与原始CPU版SA启发式在统计上完全一致，证实了硬件并行化下的算法正确性。