[论文解读] Lookback for Learning to Branch

Prateek Gupta, Elias B. Khalil+5 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

本文识别了分支定界树中的“回溯”现象，即强分支法通常会选择父节点的第二优变量进行分支。为改进基于图神经网络（GNN）的分支策略，作者提出目标平滑和父节点作为目标（PAT）正则化方法，使标准基准测试下的分支定界树规模减少最多22%，求解时间减少最多15%。

ABSTRACT

The expressive and computationally inexpensive bipartite Graph Neural Networks (GNN) have been shown to be an important component of deep learning based Mixed-Integer Linear Program (MILP) solvers. Recent works have demonstrated the effectiveness of such GNNs in replacing the branching (variable selection) heuristic in branch-and-bound (B&B) solvers. These GNNs are trained, offline and on a collection of MILPs, to imitate a very good but computationally expensive branching heuristic, strong branching. Given that B&B results in a tree of sub-MILPs, we ask (a) whether there are strong dependencies exhibited by the target heuristic among the neighboring nodes of the B&B tree, and (b) if so, whether we can incorporate them in our training procedure. Specifically, we find that with the strong branching heuristic, a child node's best choice was often the parent's second-best choice. We call this the "lookback" phenomenon. Surprisingly, the typical branching GNN of Gasse et al. (2019) often misses this simple "answer". To imitate the target behavior more closely by incorporating the lookback phenomenon in GNNs, we propose two methods: (a) target smoothing for the standard cross-entropy loss function, and (b) adding a Parent-as-Target (PAT) Lookback regularizer term. Finally, we propose a model selection framework to incorporate harder-to-formulate objectives such as solving time in the final models. Through extensive experimentation on standard benchmark instances, we show that our proposal results in up to 22% decrease in the size of the B&B tree and up to 15% improvement in the solving times.

研究动机与目标

• 研究分支定界树中父节点与子节点之间强分支决策的隐藏依赖关系。
• 解决学习到的GNN策略与最优强分支启发式方法之间的差距，后者通常会选择父节点的第二优变量。
• 通过整合强分支行为中观察到的结构模式，改进基于GNN的分支策略。
• 开发一种模型选择框架，以求解时间等实际目标为优化标准，而非仅依赖准确率。
• 证明模仿回溯行为可使混合整数线性规划（MILP）求解器中的分支策略更加高效和有效。

提出的方法

• 识别‘回溯’现象：子节点的最佳选择通常与父节点在强分支下的第二优选择一致。
• 提出目标平滑方法，通过软化目标分布以反映回溯的可能性，对交叉熵损失进行正则化。
• 引入父节点作为目标（PAT）正则化器，明确惩罚GNN在子节点最优时未选择父节点第二优变量的行为。
• 在混合整数线性规划（MILP）的二分图表示上训练GNN，其中变量和约束作为节点，非零系数对应边。
• 通过在基准MILP实例上进行强分支的离线数据收集，生成训练目标。
• 设计一种模型选择框架，基于求解时间与树规模评估超参数，而非仅依赖验证准确率。

实验结果

研究问题

• RQ1 强分支决策在分支定界树的父节点与子节点之间，其依赖关系在多大程度上存在？
• RQ2 将父节点的第二优选择作为子节点最优选择的代理，能否改善基于GNN的分支策略？
• RQ3 通过损失函数修改或正则化引入回溯现象，是否能在分支定界树规模和求解时间上带来可测量的改进？
• RQ4 所提出的以求解时间为优化目标的模型选择框架，与标准基于准确率的选择方法相比表现如何？
• RQ5 该回溯模式是否可在不同类型的MILP家族中泛化，且是否能持续提升性能？

主要发现

• 回溯现象——即子节点的最佳选择与父节点的第二优选择一致——在基准家族中平均超过50%的情况下发生。
• 使用交叉熵损失训练的标准GNN无法学习该模式，常会遗漏最优的回溯选择。
• 所提出的父节点作为目标（PAT）正则化器显著提升了GNN性能，与基线GNN相比，分支定界树规模最大减少22%。
• 使用PAT正则化模型后，求解时间最多减少15%，尤其在难以求解的实例上表现更优。
• 基于求解时间的模型选择框架能实现更好的泛化能力，并在测试实例上实现更快收敛。
• 即使未针对最优性间隙进行优化，PAT模型在未求解实例上仍表现出更优的间隙性能，显示出更强的鲁棒性。