[论文解读] Boosting Binary Optimization via Binary Classification: A Case Study of Job Shop Scheduling

Oleg V. Shylo, Hesam Shams|arXiv (Cornell University)|Aug 31, 2018

Metaheuristic Optimization Algorithms Research被引用 9

一句话总结

本文提出了一种新颖的框架，利用逻辑回归从二值优化中的解轨迹中学习，特别用于增强作业车间调度的禁忌搜索。通过建模每个决策变量属于最优解的概率，该方法引导搜索的集中化与多样化，显著提升了基准实例上的性能，并取得了新的上界改进。

ABSTRACT

Many optimization techniques evaluate solutions consecutively, where the next candidate for evaluation is determined by the results of previous evaluations. For example, these include iterative methods, "black box" optimization algorithms, simulated annealing, evolutionary algorithms and tabu search, to name a few. When solving an optimization problem, these algorithms evaluate a large number of solutions, which raises the following question: Is it possible to learn something about the optimum using these solutions? In this paper, we define this "learning" question in terms of a logistic regression model and explore its predictive accuracy computationally. The proposed model uses a collection of solutions to predict the components of the optimal solutions. To illustrate the utility of such predictions, we embed the logistic regression model into the tabu search algorithm for job shop scheduling problem. The resulting framework is simple to implement, yet provides a significant boost to the performance of the standard tabu search.

研究动机与目标

• 探究迭代优化算法的解轨迹是否包含关于最优解的可学习模式。
• 开发一种机器学习框架，利用逻辑回归预测二值优化问题中的组件级最优概率。
• 将此预测模型集成到作业车间调度的禁忌搜索中，以提升计算性能。
• 引入一种新的实验分析方法——概率占优图，用于比较优化算法的表现。
• 证明该方法在作业车间调度之外的其他二值优化问题中的可扩展性。

提出的方法

• 该方法使用逻辑回归建模二值决策变量属于最优解的概率，训练数据来自禁忌搜索的历史解样本。
• 逻辑回归模型通过时间有序的解样本迭代更新，参数根据当前迭代进行调整，以平衡探索与开发。
• 利用预测概率指导禁忌搜索，通过偏向预测最优可能性更高的变量来引导邻域移动的选择。
• 提出一种逻辑回归模型的动态参数更新规则，其中学习率是时间的函数，以避免过早收敛。
• 将该框架嵌入标准禁忌搜索算法中，替代或增强传统的多样化与集中化策略。
• 引入一种新的性能评估方法——概率占优图，用于比较不同算法在迭代过程中找到更优解的可能性。

实验结果

研究问题

• RQ1 能否利用迭代优化算法的解轨迹学习到二值变量属于最优解的可能性？
• RQ2 逻辑回归在作业车间调度等二值优化问题中，能否准确预测组件级最优性？
• RQ3 将此类预测集成到禁忌搜索中，是否能显著提升其性能，相比标准实现？
• RQ4 逻辑回归模型中的动态参数调优对收敛性和解质量有何影响？
• RQ5 概率占优图与传统性能指标相比，在评估优化算法时表现如何？

主要发现

• 逻辑回归模型成功从解轨迹中学习，并以高精度预测了变量属于最优解的可能性。
• 结合逻辑回归预测的引导式禁忌搜索在Taillard和Demirkol的作业车间调度基准测试中均优于标准禁忌搜索。
• 该框架将29个此前未解决或边界较差的作业车间实例的上界进行了改进，包括dmu42-dmu80和ta48。
• 概率占优图显示，引导式禁忌算法在后期迭代中始终优于标准禁忌搜索。
• 将最小逻辑参数θmin从0.001降低至0.0001，解决了最困难实例（dmu71-dmu80）的过早收敛问题，显著提升了性能。
• 该方法具有可扩展性，可应用于其他二值优化问题，潜在应用于分支定界法以证明最优性。