[论文解读] Experience-based Optimization: A Coevolutionary Approach

Shengcai Liu, Ke Tang+1 more|arXiv (Cornell University)|Mar 29, 2017

Constraint Satisfaction and Optimization参考文献 27被引用 6

一句话总结

本文提出LiangYi，一种协同进化框架，通过求解器种群与实例集之间的迭代协同进化，同时优化求解器性能并选择具有挑战性的训练实例。在10,000个TSP实例上的实验结果表明，经LiangYi训练的求解器显著优于当前最先进的方法（如ParHydra），且在各轮训练中均保持一致的性能提升。

ABSTRACT

This paper studies improving solvers based on their past solving experiences, and focuses on improving solvers by offline training. Specifically, the key issues of offline training methods are discussed, and research belonging to this category but from different areas are reviewed in a unified framework. Existing training methods generally adopt a two-stage strategy in which selecting the training instances and training instances are treated in two independent phases. This paper proposes a new training method, dubbed LiangYi, which addresses these two issues simultaneously. LiangYi includes a training module for a population-based solver and an instance sampling module for updating the training instances. The idea behind LiangYi is to promote the population-based solver by training it (with the training module) to improve its performance on those instances (discovered by the sampling module) on which it performs badly, while keeping the good performances obtained by it on previous instances. An instantiation of LiangYi on the Travelling Salesman Problem is also proposed. Empirical results on a huge testing set containing 10000 instances showed LiangYi could train solvers that perform significantly better than the solvers trained by other state-of-the-art training method. Moreover, empirical investigation of the behaviours of LiangYi confirmed it was able to continuously improve the solver through training.

研究动机与目标

• 为解决现有方法将求解器训练与实例选择视为独立阶段的问题，尽管二者存在强烈依赖关系。
• 开发一种离线训练框架，使求解器能够通过积累的问题求解经验持续改进。
• 探究求解器与实例之间的协同进化是否能带来优于传统训练方法的泛化能力与性能表现。
• 通过整合多样化的前期工作，为基于经验的优化（EBO）提供统一的视角。
• 通过在大规模TSP实例集上的实证评估，证明LiangYi的有效性。

提出的方法

• LiangYi维护一个求解器种群与一个训练实例种群，二者通过竞争性交互实现协同进化。
• 在每轮训练中，求解器种群在当前实例种群上进行评估，并根据求解器表现选择最具挑战性的实例用于下一轮。
• 求解器种群通过进化策略进行更新，选择压力倾向于当前实例集上表现更优的求解器。
• 该方法采用反馈回路机制，基于当前求解器的薄弱环节生成或选择新的、更具难度的实例，从而促进持续改进。
• LiangYi的一个实现应用于旅行商问题（TSP），使用一组启发式算法作为求解器种群。
• 性能通过适用性（在时间限制内求解的实例比例）进行衡量，结果取20次运行的平均值以确保稳健性。

实验结果

研究问题

• RQ1 求解器与训练实例之间的协同进化是否能带来优于独立训练与实例选择的求解器性能？
• RQ2 通过迭代识别日益具有挑战性的实例，是否能实现求解器能力的持续提升？
• RQ3 在未见实例上的求解器泛化能力与性能方面，LiangYi与当前最先进的训练方法（如ParHydra）相比如何？
• RQ4 协同进化过程在多大程度上增强了求解器对问题类别中多样化实例的适应能力？
• RQ5 该协同进化框架能否有效平衡新实例的探索与求解器改进的利用？

主要发现

• 经LiangYi训练的求解器在10,000个TSP实例的测试集上适用性显著高于使用ParHydra训练的求解器，后者为当前最先进方法。
• 随着训练轮次的增加，求解器种群（AP₁至AP₄）在训练集与测试集上的表现均呈现一致且单调的提升。
• 在IP₁测试集上，AP₄的适用性达到0.6867，较基线提升17.98%，且所有性能提升比率均低于30%。
• 在IP₂测试集上，AP₄的适用性达到0.5667，较基线提升29.02%，且所有提升比率均低于30%。
• 实证分析证实，LiangYi通过动态识别并聚焦于日益困难的实例，持续改进求解器。
• 协同进化机制成功维持了求解器适应与实例选择之间的平衡，避免了对固定训练实例集的过拟合。