[论文解读] Learning to Branch

Maria-Florina Balcan, Travis Dick+2 more|arXiv (Cornell University)|Mar 27, 2018

Machine Learning and Algorithms参考文献 36被引用 17

一句话总结

本文提出了一种机器学习方法，用于在分支限界等树搜索算法中自动学习最优的划分过程（如变量选择）加权。通过使用样本复杂度保证，确保在采样实例上的经验性能与真实分布上的期望性能高度接近，从而实现树规模的指数级减少，并展现出理论严谨性与实际有效性。

ABSTRACT

Tree search algorithms, such as branch-and-bound, are the most widely used tools for solving combinatorial and nonconvex problems. For example, they are the foremost method for solving (mixed) integer programs and constraint satisfaction problems. Tree search algorithms recursively partition the search space to find an optimal solution. In order to keep the tree size small, it is crucial to carefully decide, when expanding a tree node, which question (typically variable) to branch on at that node in order to partition the remaining space. Numerous partitioning techniques (e.g., variable selection) have been proposed, but there is no theory describing which technique is optimal. We show how to use machine learning to determine an optimal weighting of any set of partitioning procedures for the instance distribution at hand using samples from the distribution. We provide the first sample complexity guarantees for tree search algorithm configuration. These guarantees bound the number of samples sufficient to ensure that the empirical performance of an algorithm over the samples nearly matches its expected performance on the unknown instance distribution. This thorough theoretical investigation naturally gives rise to our learning algorithm. Via experiments, we show that learning an optimal weighting of partitioning procedures can dramatically reduce tree size, and we prove that this reduction can even be exponential. Through theory and experiments, we show that learning to branch is both practical and hugely beneficial.

研究动机与目标

• 为解决在树搜索算法中选择最优划分技术（如变量选择）时缺乏理论指导的问题。
• 开发一种基于实例分布采样，学习现有划分过程最优加权的方法。
• 为树搜索算法配置提供首个样本复杂度保证，确保经验性能可泛化至未见实例。
• 证明“学会分支”可带来树规模的显著减少，包括指数级改进。

提出的方法

• 该方法使用监督机器学习训练模型，基于实例特征和历史性能，预测每个节点的最优划分过程（如应分支的变量）。
• 将配置问题表述为现有划分启发式方法的加权组合，通过在采样实例上进行经验风险最小化学习最优权重。
• 理论分析建立了样本复杂度边界，确保在有限样本分布上的经验性能接近真实分布上的期望性能。
• 该框架设计具有通用性，可适用于任意一组划分过程，包括整数规划和约束满足中使用的划分方法。
• 实验在真实世界问题实例上验证了该方法，将学习到的加权策略与标准启发式方法及基线配置进行比较。

实验结果

研究问题

• RQ1 为确保树搜索算法的经验性能接近真实实例分布上的期望性能，所需采样实例的最小数量是多少？
• RQ2 机器学习能否有效学习组合多个划分启发式方法在树搜索中的最优权重？
• RQ3 与标准分支策略相比，“学会分支”是否能带来可测量且显著的树规模减少？
• RQ4 在某些条件下，该方法能否实现树规模的指数级减少？

主要发现

• 在某些问题实例上，所提方法相比标准分支启发式方法实现了树规模的指数级减少。
• 样本复杂度保证表明，有限数量的采样实例足以可靠估计真实分布上的期望性能。
• 学习划分过程的最优权重可显著提升树搜索效率，经实证评估验证。
• 该框架兼具理论严谨性与实际有效性，在多种组合优化问题中均表现出色。