[论文解读] Enhancing Column Generation by a Machine-Learning-Based Pricing Heuristic for Graph Coloring

Yunzhuang Shen, Yuan Sun+3 more|arXiv (Cornell University)|Dec 8, 2021

Scheduling and Timetabling Solutions被引用 7

一句话总结

本文提出了一种基于机器学习的定价启发式方法（MLPH），通过使用训练好的支持向量机预测定价子问题的最优解，从而加速图着色问题的列生成（CG）过程。该方法利用预测结果指导采样策略，高效生成多个高质量列。MLPH显著减少了CG的迭代次数，并在多种图实例上提升了分支定界-列生成算法的性能。

ABSTRACT

Column Generation (CG) is an effective method for solving large-scale optimization problems. CG starts by solving a sub-problem with a subset of columns (i.e., variables) and gradually includes new columns that can improve the solution of the current subproblem. The new columns are generated as needed by repeatedly solving a pricing problem, which is often NP-hard and is a bottleneck of the CG approach. To tackle this, we propose a Machine-Learning-based Pricing Heuristic (MLPH)that can generate many high-quality columns efficiently. In each iteration of CG, our MLPH leverages an ML model to predict the optimal solution of the pricing problem, which is then used to guide a sampling method to efficiently generate multiple high-quality columns. Using the graph coloring problem, we empirically show that MLPH significantly enhancesCG as compared to six state-of-the-art methods, and the improvement in CG can lead to substantially better performance of the branch-and-price exact method.

研究动机与目标

• 为解决列生成（CG）中的计算瓶颈问题，即反复求解NP难的定价问题会显著减慢收敛速度。
• 通过用数据驱动的方法替代或增强传统启发式定价，提升列生成的效率与质量。
• 减少CG的迭代次数，并提升图着色问题分支定界-列生成精确算法的性能。
• 证明机器学习可通过利用历史定价问题解，有效引导列生成过程。

提出的方法

• 在具有已知最优解的历史定价问题实例上，训练一个离线的机器学习模型（线性SVM），以预测新出现的未见定价问题的最优解。
• 利用预测得到的最优解，指导基于采样的列生成方法，从而在每次CG迭代中高效生成多个高质量列。
• 应用列选择策略，从候选列中选取最具效益的列加入受限主问题（RMP），以确保计算效率与解的质量。
• 该方法集成于Dantzig–Wolfe分解框架中，采用图着色问题的集合覆盖公式，以最大独立集作为列。
• 在分支定界框架中评估该方法，其中CG用于求解每个节点的线性规划松弛问题。
• 定期使用新问题实例对ML模型进行再训练或微调，以在不同图类型中保持预测准确性。

实验结果

研究问题

• RQ1 在已求解的定价问题上进行训练的机器学习模型，是否能够足够准确地预测最优解，以有效引导高效的列生成？
• RQ2 利用预测解指导采样，是否能生成比传统启发式方法更少减少成本的列？
• RQ3 与当前最先进的定价启发式方法相比，MLPH在多大程度上减少了CG的迭代次数？
• RQ4 MLPH对图着色问题的分支定界-列生成算法整体性能有何影响？
• RQ5 基于机器学习的方法是否能在不同类型的图和问题实例上实现良好的泛化能力？

主要发现

• 与最佳基线方法相比，MLPH在平均意义上将CG迭代次数减少了57%，显著加快了收敛速度。
• 在DSJC250.5实例上，MLPH相比次优方法实现了57%的迭代次数减少，且求解时间提升了42%。
• 使用MLPH的分支定界-列生成方法在20个基准实例中，有12个比其他所有方法（包括Gurobi和其他最先进的启发式方法）更快求解。
• MLPH生成的列具有显著更低的减少成本——平均比次优方法低0.42，表明解的质量更高。
• 在所测试的图着色实例中，MLPH使达到最优解的时间平均减少了31%。
• 在密集图（如DSJC250.5、DSJR500.5）上，性能提升最为显著，而传统定价启发式方法在此类图上表现最差。