[论文解读] Learning fine-grained search space pruning and heuristics for combinatorial optimization

Juho Lauri, Sourav Dutta+2 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种新颖且可解释的机器学习框架，通过学习基于局部特征的规则，对组合优化问题（特别是最大团问题）中的无关节点和边进行剪枝，从而减少搜索空间。该方法在稀疏图中实现了高达99%的剪枝率，并使最先进求解器的运行速度最高提升5倍，同时揭示了邻域度卡方值对团成员资格具有高度预测性，从而提出了一种新型且更优的启发式算法。

ABSTRACT

Combinatorial optimization problems arise in a wide range of applications from diverse domains. Many of these problems are NP-hard and designing efficient heuristics for them requires considerable time and experimentation. On the other hand, the number of optimization problems in the industry continues to grow. In recent years, machine learning techniques have been explored to address this gap. We propose a framework for leveraging machine learning techniques to scale-up exact combinatorial optimization algorithms. In contrast to the existing approaches based on deep-learning, reinforcement learning and restricted Boltzmann machines that attempt to directly learn the output of the optimization problem from its input (with limited success), our framework learns the relatively simpler task of pruning the elements in order to reduce the size of the problem instances. In addition, our framework uses only interpretable learning models based on intuitive features and thus the learning process provides deeper insights into the optimization problem and the instance class, that can be used for designing better heuristics. For the classical maximum clique enumeration problem, we show that our framework can prune a large fraction of the input graph (around 99 % of nodes in case of sparse graphs) and still detect almost all of the maximum cliques. This results in several fold speedups of state-of-the-art algorithms. Furthermore, the model used in our framework highlights that the chi-squared value of neighborhood degree has a statistically significant correlation with the presence of a node in a maximum clique, particularly in dense graphs which constitute a significant challenge for modern solvers. We leverage this insight to design a novel heuristic for this problem outperforming the state-of-the-art. Our heuristic is also of independent interest for maximum clique detection and enumeration.

研究动机与目标

• 通过高效减少搜索空间，解决NP难组合优化问题的可扩展性挑战。
• 设计一种机器学习框架，学习可解释的剪枝规则，而非直接预测最优解。
• 通过数据驱动的、基于特征的剪枝策略，提升精确求解器（如FMC(H)）的性能。
• 通过可解释模型揭示实例类别（如最大团）的有意义结构洞见。
• 开发一种新型启发式算法，用于最大团枚举，其性能优于现有最先进方法。

提出的方法

• 该框架基于每个节点的局部可解释特征（如邻域度和卡方值）构建多阶段剪枝流水线。
• 训练梯度提升决策树模型以分类节点是否可能属于最大团，从而对非有希望的元素进行细粒度剪枝。
• 剪枝过程迭代执行，在运行基础精确求解器（如FMC(H)）前逐步减小图的规模。
• 通过预处理输入图，将该方法与现有求解器集成，作为即插即用的加速层。
• 模型的特征重要性分析表明，邻域度的卡方值是团成员资格的统计显著预测因子，尤其在密集图中表现突出。
• 通过引入MoMC（多目标模型组合）扩展框架，以平衡剪枝的激进程度与解的准确性。

实验结果

研究问题

• RQ1 是否可以利用可解释的局部特征，在不依赖复杂黑箱模型的前提下，有效剪枝组合优化中的搜索空间？
• RQ2 基于学习的剪枝在多大程度上能减少NP难问题实例的规模，同时保持最优解？
• RQ3 哪些结构特征最能预测节点在最大团中的包含性？这些特征能否用于设计更优的启发式算法？
• RQ4 在真实世界和合成图上，所提出的剪枝策略与最先进求解器相比，在加速比和解质量方面表现如何？
• RQ5 能否利用学习模型所得的洞见，设计一种新型且更优的启发式算法用于最大团枚举？

主要发现

• 该框架在稀疏图中实现了平均99%的节点剪枝率，同时几乎完全保留了所有最大团，显著减少了搜索空间。
• 在真实世界图上，该方法使FMC(H)的运行速度最高提升5倍，且ALTHEA+MoMC在先前未解决的实例上也获得了最优解。
• 邻域度的卡方值被识别为团成员资格的统计显著预测因子，尤其在求解器通常难以处理的密集图中表现突出。
• 在密集ER随机图（n=256, p=0.75）上，ALTHEA的准确率比FMC(H)高出6倍，达到70%以上，而FMC(H)的准确率约为50%。
• 即使在密集图（p=0.5）中，该框架仍保持高达50%的剪枝率，且在G(64,p)图上使运行时间相比FMC(H)最高提升1.5倍。
• 基于模型洞见所导出的新启发式算法——ALTHEA——在速度和解质量上均优于RMC，尽管RMC具有完美准确率和高计算成本。