[论文解读] Exact Combinatorial Optimization with Graph Convolutional Neural Networks
本文提出一种图卷积神经网络，通过模仿强分支来学习 MILP 的分支与界定变量选择策略，从而在性能和泛化方面优于以往的 ML 方法和 SCIP 的默认规则。
Combinatorial optimization problems are typically tackled by the branch-and-bound paradigm. We propose a new graph convolutional neural network model for learning branch-and-bound variable selection policies, which leverages the natural variable-constraint bipartite graph representation of mixed-integer linear programs. We train our model via imitation learning from the strong branching expert rule, and demonstrate on a series of hard problems that our approach produces policies that improve upon state-of-the-art machine-learning methods for branching and generalize to instances significantly larger than seen during training. Moreover, we improve for the first time over expert-designed branching rules implemented in a state-of-the-art solver on large problems. Code for reproducing all the experiments can be found at https://github.com/ds4dm/learn2branch.
研究动机与目标
- 为 MILPs 的分支与界定树的改进分支规则的学习提供动机，以减少树的规模与求解时间。
- 利用天然的 MILP 变量-约束二部图来最小化特征工程。
- 训练一个模仿学习策略以模仿强分支决策。
- 展示对训练所用实例之外的更大实例的泛化，以及与最先进的基线和 SCIP 的默认规则的对比。
提出的方法
- 将 B&B 状态表示为 MILP 约束和变量之间的双部图，并学习节点/边特征。
- 将状态编码为 (G, C, E, V) 并使用两阶段双部图卷积在变量和约束之间传播信息。
- 用图卷积神经网络（GCNN）参数化分支策略，通过掩蔽的 softmax 输出对分数变量的概率分布。
- 通过模仿学习（行为克隆）对强分支专家使用交叉熵损失进行训练策略。
- 引入 prenormalization（prenorm）以稳定未归一化的 GCNN 并提升对更大问题的泛化。
实验结果
研究问题
- RQ1一个在 MILP 变量-约束双部图上工作的 GCNN 是否能够学习到有效的分支决策？
- RQ2模仿学习得到的分支策略是否能泛化到训练过程中未见过的更大 MILP 实例？
- RQ3与传统启发式方法及其他 ML 基于的分支方法相比，基于 GCNN 的分支在各种 NP-hard 的 MILP 问题上表现如何？
- RQ4哪些架构选择（例如带 prenorm 的未归一化卷积）会影响泛化和求解效率？
主要发现
- 基于 GCNN 的分支策略在大多数基准测试中优于基线 ML 方法（树形、svmrank、lmart）和 SCIP 的默认 rpb。
- 学习到的策略可以泛化到比训练时更大的实例，且通常在基线方法之上减少求解时间和节点数。
- 在若干基准测试中，GCNN 达到比现有的人工设计和 ML 基于规则更快的求解时间和更少的 B&B 节点，尽管结果随问题类别而异。
- 强分支专家仍然速度很慢，而 GCNN 提供了一个具有竞争性能的实际替代方案。
- 消融研究表明提出的 prenorm 方法结合未归一化卷积在性能上更有优势，尤其是在较大实例上。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。