[论文解读] Branch and Bound in Mixed Integer Linear Programming Problems: A Survey of Techniques and Trends

Lingying Huang, Xiaomeng Chen+5 more|arXiv (Cornell University)|Nov 5, 2021

Scheduling and Optimization Algorithms参考文献 105被引用 16

一句话总结

本综述回顾了用于加速混合整数线性规划（MILP）中分支定界（B&B）的机器学习技术，重点关注改进四个关键组件：分支变量选择、节点选择、剪枝和割平面生成。研究表明，监督学习、无监督学习和强化学习可通过学习优于传统启发式规则的决策策略，显著加快B&B算法的运行速度，尤其在具备充分训练和问题特定初始化的情况下效果更显著。

ABSTRACT

In this paper, we surveyed the existing literature studying different approaches and algorithms for the four critical components in the general branch and bound (B&B) algorithm, namely, branching variable selection, node selection, node pruning, and cutting-plane selection. However, the complexity of the B&B algorithm always grows exponentially with respect to the increase of the decision variable dimensions. In order to improve the speed of B&B algorithms, learning techniques have been introduced in this algorithm recently. We further surveyed how machine learning can be used to improve the four critical components in B&B algorithms. In general, a supervised learning method helps to generate a policy that mimics an expert but significantly improves the speed. An unsupervised learning method helps choose different methods based on the features. In addition, models trained with reinforcement learning can beat the expert policy, given enough training and a supervised initialization. Detailed comparisons between different algorithms have been summarized in our survey. Finally, we discussed some future research directions to accelerate and improve the algorithms further in the literature.

研究动机与目标

• 分析并综合现有方法，以优化混合整数线性规划（MILP）中分支定界（B&B）算法的四个核心组件。
• 评估机器学习技术（尤其是监督学习、无监督学习和强化学习）如何增强B&B中的决策能力，以减少求解时间并改善间隙性能。
• 识别当前基于学习的B&B方法的局限性，例如缺乏在线自适应能力，以及对时间和解质量约束考虑不足。
• 探索未来研究方向，包括在线调优、减少训练数据需求，以及将方法扩展至非MILP问题，如联合双线性规划。

提出的方法

• 本文对B&B算法的文献进行了全面综述，重点关注四个关键组件：分支变量选择、节点选择、节点剪枝和割平面选择。
• 评估了模仿专家策略的监督学习方法，以在无需手动设计算法的情况下近似最优决策规则。
• 研究了基于问题特征动态选择不同B&B策略的无监督学习技术。
• 分析了通过强化学习模型训练以优化B&B性能的方法，表明在充分训练和监督初始化条件下，其性能可超越专家设计的策略。
• 综述包括对不同MILP问题族和不同训练范式下算法性能的详细比较。
• 将分析扩展至非MILP问题，如联合双线性约束规划，表明这些领域存在基于学习的加速潜力。

实验结果

研究问题

• RQ1 机器学习如何提升混合整数线性规划问题中分支定界算法的性能？
• RQ2 在优化B&B组件（如分支和节点选择）方面，监督学习、无监督学习和强化学习的相对优势是什么？
• RQ3 基于学习的策略能否超越人工设计的启发式方法？在何种条件下可以实现？
• RQ4 当前基于学习的B&B方法的主要局限性是什么，特别是在训练成本、适应性以及与时间和解质量约束的集成方面？
• RQ5 如何将基于学习的B&B方法扩展至非MILP问题，如联合双线性规划？

主要发现

• 监督学习方法可生成与专家规则高度相似的决策策略，但计算速度显著提升。
• 无监督学习可基于问题特定特征动态选择B&B策略，提升在多样化问题实例中的适应能力。
• 当使用充分数据训练并辅以监督策略初始化时，强化学习模型在速度和解质量方面均可超越专家设计的策略。
• 尽管性能有所提升，但大多数当前基于学习的方法对所有节点一视同仁，未能利用B&B运行过程中生成的实时特征，限制了在线优化的潜力。
• 一个主要挑战仍是降低大规模MILP问题生成训练数据的计算成本。
• 将基于学习的B&B扩展至非MILP问题（如联合双线性规划）——在离散网络设计中常见——代表了一个有前景但尚未充分探索的研究方向。