[论文解读] A Survey for Solving Mixed Integer Programming via Machine Learning

Jiayi Zhang, Chang Liu+4 more|arXiv (Cornell University)|Mar 6, 2022

Scheduling and Optimization Algorithms被引用 13

一句话总结

本综述回顾了用于求解混合整数规划（MIP）问题的机器学习技术，重点在于将机器学习与分支定界法及启发式算法相结合，以提升解的质量和效率。文章介绍了基于学习的节点选择、解预测和启发式增强方法，表明机器学习可显著降低计算成本，同时在实际MIP应用中保持高质量解。

ABSTRACT

This paper surveys the trend of leveraging machine learning to solve mixed integer programming (MIP) problems. Theoretically, MIP is an NP-hard problem, and most of the combinatorial optimization (CO) problems can be formulated as the MIP. Like other CO problems, the human-designed heuristic algorithms for MIP rely on good initial solutions and cost a lot of computational resources. Therefore, we consider applying machine learning methods to solve MIP, since ML-enhanced approaches can provide the solution based on the typical patterns from the historical data. In this paper, we first introduce the formulation and preliminaries of MIP and several traditional algorithms to solve MIP. Then, we advocate further promoting the different integration of machine learning and MIP and introducing related learning-based methods, which can be classified into exact algorithms and heuristic algorithms. Finally, we propose the outlook for learning-based MIP solvers, direction towards more combinatorial optimization problems beyond MIP, and also the mutual embrace of traditional solvers and machine learning components.

研究动机与目标

• 提供关于机器学习在求解混合整数规划（MIP）问题中应用的全面、最新综述。
• 分析机器学习与精确方法（如分支定界法）及启发式方法的集成，以提升MIP求解效率。
• 识别将传统MIP求解器与基于学习的组件（包括策略学习和早期停止）相结合的关键研究方向。
• 突出展示MIPLearn、Ecole和ORGym等新兴框架，支持端到端训练和基于强化学习的MIP求解。
• 倡导经典MIP求解器与机器学习组件之间的相互融合，以推动组合优化的发展。

提出的方法

• 将机器学习增强的MIP求解器分类为精确算法（如分支定界法中的基于学习的节点选择）和启发式算法（如基于强化学习的可行性泵）。
• 提出使用强化学习指导可行性泵中的解搜索，通过学习下一步动作而非依赖最近的可行点。
• 引入深度学习模型（MLP和CNN）表示MIP问题状态，使强化学习智能体能够以约束矩阵和边界作为输入。
• 利用模仿学习训练模型以模仿启发式行为，例如选择分支变量或调整初始解。
• 使用Ecole和MIPLearn等框架将机器学习组件与开源MIP求解器（如SCIP、CPLEX、GUROBI）集成，实现端到端训练。
• 通过机器学习应用早期停止技术，在当前解可接受时终止分支定界过程，从而节省计算资源。

实验结果

研究问题

• RQ1 如何有效将机器学习集成到传统分支定界算法中，以提升MIP求解效率？
• RQ2 强化学习在MIP求解中对启发式方法（如可行性泵）的增强程度如何？
• RQ3 机器学习模型能否预测高质量的初始解或冗余约束，以减少MIP问题规模并加速求解？
• RQ4 基于问题实例特征，学习型方法如何用于在精确求解与启发式求解策略之间进行选择？
• RQ5 在实践中，哪些最具前景的框架和库可用于训练和部署机器学习增强的MIP求解器？

主要发现

• 强化学习可替代可行性泵中的启发式选择（如选择下一个非整数解），实现更快收敛和更优解质量。
• 使用CNN处理MIP约束矩阵作为图像，可改善状态表示，并增强强化学习策略在MIP求解中的学习效果。
• 基于机器学习的早期停止可显著降低分支定界法的计算成本，通过预测最优终止点而不牺牲解的质量。
• 基于KNN的冗余约束预测和仿射子空间分析可减少MIP问题规模，在实际应用（如机组组合）中加速求解时间。
• MIPLearn和Ecole等框架支持机器学习增强型MIP求解器的端到端训练，展现出构建可扩展、自适应优化系统的重要潜力。
• 通过混合架构将机器学习与传统求解器（如CPLEX、GUROBI）结合，可联合学习约束和目标，实现可微分的组合优化。