[论文解读] Hybrid Models for Learning to Branch

Prateek Gupta, Maxime Gasse+4 more|arXiv (Cornell University)|Jun 26, 2020

Topic Modeling参考文献 7被引用 48

一句话总结

本文提出了一种 CPU 友好型混合架构，将根节点 Graph Neural Network 与基于快速 MLP 的分支相结合，以加速 MILP 求解，在不使用 GPU 的情况下，与最先进的 CPU 方法相比，运行时间最多快 26%。

ABSTRACT

A recent Graph Neural Network (GNN) approach for learning to branch has been shown to successfully reduce the running time of branch-and-bound algorithms for Mixed Integer Linear Programming (MILP). While the GNN relies on a GPU for inference, MILP solvers are purely CPU-based. This severely limits its application as many practitioners may not have access to high-end GPUs. In this work, we ask two key questions. First, in a more realistic setting where only a CPU is available, is the GNN model still competitive? Second, can we devise an alternate computationally inexpensive model that retains the predictive power of the GNN architecture? We answer the first question in the negative, and address the second question by proposing a new hybrid architecture for efficient branching on CPU machines. The proposed architecture combines the expressive power of GNNs with computationally inexpensive multi-layer perceptrons (MLP) for branching. We evaluate our methods on four classes of MILP problems, and show that they lead to up to 26% reduction in solver running time compared to state-of-the-art methods without a GPU, while extrapolating to harder problems than it was trained on. The code for this project is publicly available at https://github.com/pg2455/Hybrid-learn2branch.

研究动机与目标

• 在无法使用 GPU 时，提出实际可行的分支改进动机。
• 开发一种混合架构，在保留 GNN 优势的同时，在大多数树节点使用低成本计算。
• 研究训练协议，以在仅 CPU 的设置下提升泛化能力和性能。
• 在多种 MILP 问题类别上进行评估，以证明时间节省和可扩展性。

提出的方法

• 提出一种混合架构，在根节点使用 GNN 提取结构信息，在其余节点使用 MLP 预测分支候选项。
• 通过多种融合策略（CONCAT、FiLM、HyperSVM、HyperSVM-FiLM）将根 GNN 表征与廉价的节点特征相结合。
• 采用模仿学习，以强分支作为专家，通过交叉熵损失进行训练；探索端到端训练和预训练变体。
• 通过来自预训练 GNN 的知识蒸馏、辅助任务（ED 或 MHE）来丰富表示，以及基于深度的损失权重方案来增强训练。
• 提出并比较几种具有不同计算成本的数据提取方案，以覆盖从纯 GNN 到纯 MLP 的全谱。
• 在四个 MILP 家族（Capacitated Facility Location、Combinatorial Auctions、Set Covering、Independent Set）上进行评估，并分析时间、节点和解的质量。

实验结果

研究问题

• RQ1 CPU-only 混合模型在 MILP 的学习分支任务中是否有竞争力，相对于 GPU 加速的 GNN？
• RQ2 一个混合架构（根 GNN 加快 MLP）是否能够在 CPU 硬件上达到或超过纯 MLP 或纯 GNN 的性能？
• RQ3 端到端训练、知识蒸馏、辅助任务以及深度加权等训练协议是否能提升泛化和时间效率？
• RQ4 哪些问题类别最受益于所提出的混合方法，以及对更大实例的外推行为如何？
• RQ5 在准确性和运行时间方面，不同融合策略（CONCAT、FiLM、HyperSVM 变体）之间的权衡是什么？

主要发现

• 混合模型在 CPU 上实现了相较于最先进 CPU 基线高达 26% 的求解器运行时间降低。
• 在没有 GPU 推理的情况下，GNN-only 方法在 CPU 上不具备竞争力，凸显了混合设计的价值。
• FiLM 与 CONCAT 融合策略通常优于其他混合方法，而基于 HyperSVM 的混合成本更低但准确性较差。
• 训练协议（端到端、知识蒸馏、辅助任务、基于深度的损失权重）带来可衡量的准确性提升和更好的 B&B 性能，其中知识蒸馏通常提供更好的泛化。
• 基于 FiLM 的混合模型在跨问题族中更一致地达到或超过非 ML 基线，并且能够外推到训练分布之外的更难实例。