[论文解读] Benders Cut Classification via Support Vector Machines for Solving Two-stage Stochastic Programs

Huiwen Jia, Siqian Shen|arXiv (Cornell University)|Jun 14, 2019

Supply Chain and Inventory Management参考文献 45被引用 4

一句话总结

该论文提出LearnBD，一种增强学习的Benders分解算法，利用支持向量机（SVM）对Benders割平面进行分类，仅选择性地生成最具价值的割平面——即显著改善下界或在最优解处起绑定作用的割平面。通过过滤掉较无用的割平面，LearnBD减少了松弛主问题（RMP）的规模和求解时间，在容量受限的设施选址和多商品网络设计问题实例中，相比传统Benders分解实现了更快的收敛速度。

ABSTRACT

We consider Benders decomposition for solving two-stage stochastic programs with complete recourse based on finite samples of the uncertain parameters. We define the Benders cuts binding at the final optimal solution or the ones significantly improving bounds over iterations as valuable cuts. We propose a learning-enhanced Benders decomposition (LearnBD) algorithm, which adds a cut classification step in each iteration to selectively generate cuts that are more likely to be valuable cuts. The LearnBD algorithm includes two phases: (i) sampling cuts and collecting information from training problems and (ii) solving testing problems with a support vector machine (SVM) cut classifier. We run the LearnBD algorithm on instances of capacitated facility location and multi-commodity network design under uncertain demand. Our results show that SVM cut classifier works effectively for identifying valuable cuts, and the LearnBD algorithm reduces the total solving time of all instances for different problems with various sizes and complexities.

研究动机与目标

• 为解决由于累积割平面导致松弛主问题（RMP）规模迅速增长而引发的Benders分解计算瓶颈问题。
• 通过识别并优先处理最具价值的Benders割平面，提升具有完全补救能力的两阶段随机规划问题的求解效率。
• 开发一种可迁移的机器学习框架，实现在不同规模和结构的问题实例之间复用已训练的割平面分类器。
• 评估基于SVM的割平面分类在减少总求解时间的同时，维持最优性间隙控制的有效性。

提出的方法

• LearnBD算法采用两阶段流程：(i) 从已求解实例中收集训练数据，提取割平面特征，如割平面违反度和每场景的割平面数量；(ii) 在该数据上训练SVM分类器，以预测具有价值的割平面。
• 通过问题特定的缩放因子对割平面特征进行归一化：以相对总运输成本表示割平面违反度，以网络规模（|W|×|F|）表示割平面频率，以确保在不同实例间的可迁移性。
• 在每次迭代中，训练好的SVM分类器预测哪些割平面可能具有价值，仅将这些割平面添加至RMP，从而减少其规模和求解时间。
• 该方法使用样本平均近似（SAA）处理连续不确定性，通过蒙特卡洛采样生成有限个场景。
• 该方法将Benders分解与监督学习相结合，其中SVM被训练以区分显著改善下界或在最优解处起绑定作用的割平面。
• 该框架支持迁移学习：在某一实例（如cap62）上训练的分类器，经适当特征缩放后可应用于另一实例（如cap42），无需重新训练即可提升效率。

实验结果

研究问题

• RQ1 基于SVM的分类器能否在两阶段随机规划中有效区分具有价值与无价值的Benders割平面？
• RQ2 与传统Benders分解相比，使用学习到的分类器过滤割平面是否能减少松弛主问题的规模和求解时间？
• RQ3 在规模或结构参数不同的问题实例之间，是否可成功将已训练的割平面分类器进行迁移？
• RQ4 LearnBD算法在容量受限的设施选址和多商品网络设计问题的多样化实例中，性能扩展性如何？

主要发现

• 与传统Benders分解相比，LearnBD在测试实例上平均将总求解时间减少了18.5%；当使用从cap62迁移的分类器求解cap42时，RMP求解时间减少了29.5%。
• 在cap42上，使用同一实例训练的SVM分类器仅需4,304个割平面即可实现0.01%的最优性间隙，而标准Benders方法需6,000个割平面。
• 当将cap62上训练的分类器迁移用于求解cap42时，算法仍实现总时间减少12.5%（97.96秒 vs. 111.96秒），且RMP求解次数从30次减少至29次。
• 通过使用按相对运输成本和网络规模归一化的割平面特征，实现了在不同设施和仓库数量的问题实例之间有效的迁移学习。
• 使用SVM分类器后，每次迭代添加的割平面数量显著减少（从6,000个减少至4,304个），直接促进了RMP求解时间的缩短。
• 在所有测试实例中，该方法均将最优性间隙控制在0.01%以下，表明性能提升未以牺牲解的质量为代价。