[论文解读] Exploratory Combinatorial Optimization with Reinforcement Learning

Thomas D. Barrett, William R. Clements+2 more|arXiv (Cornell University)|Sep 9, 2019

Metaheuristic Optimization Algorithms Research参考文献 35被引用 21

一句话总结

本文提出 ECO-DQN，一种用于探索性组合优化的强化学习框架，允许智能体通过动态地向解集添加或移除顶点来迭代改进解，与以往方法不可逆地构建解不同。该方法通过支持可逆决策并利用图神经网络引导探索，在最大割问题上实现了最先进性能，并展现出对未见图分布的强大泛化能力。

ABSTRACT

Many real-world problems can be reduced to combinatorial optimization on a graph, where the subset or ordering of vertices that maximize some objective function must be found. With such tasks often NP-hard and analytically intractable, reinforcement learning (RL) has shown promise as a framework with which efficient heuristic methods to tackle these problems can be learned. Previous works construct the solution subset incrementally, adding one element at a time, however, the irreversible nature of this approach prevents the agent from revising its earlier decisions, which may be necessary given the complexity of the optimization task. We instead propose that the agent should seek to continuously improve the solution by learning to explore at test time. Our approach of exploratory combinatorial optimization (ECO-DQN) is, in principle, applicable to any combinatorial problem that can be defined on a graph. Experimentally, we show our method to produce state-of-the-art RL performance on the Maximum Cut problem. Moreover, because ECO-DQN can start from any arbitrary configuration, it can be combined with other search methods to further improve performance, which we demonstrate using a simple random search.

研究动机与目标

• 解决现有基于强化学习的组合优化方法在解构建过程中不可逆的局限性。
• 通过允许向解集添加或移除顶点，使智能体能够在推理阶段探索并改进解。
• 开发一种灵活的框架，适用于任何基于图的组合优化问题，其中解为顶点的子集。
• 通过持续探索和动态决策提升最大割问题上的性能。
• 展示对未见图分布的泛化能力，并与其它搜索启发式方法兼容。

提出的方法

• 该框架使用深度 Q 网络（DQN）与消息传递神经网络（MPNN）结合，编码图结构并为每个顶点计算 Q 值。
• 在每一步中，智能体选择一个顶点，将其添加到当前解集中或从解集中移除，从而实现可逆的、探索性的行为。
• 每个顶点的 Q 值通过聚合邻居信息和全局图状态的图嵌入来计算。
• MPNN 使用三轮消息传递，通过可学习权重基于局部邻域和边特征更新顶点嵌入。
• Q 值头将全局图嵌入与单个顶点嵌入结合，预测动作值。
• 训练使用经验回放、目标网络和裁剪的 Q 值预测以稳定学习。

实验结果

研究问题

• RQ1 在推理过程中允许可逆决策的强化学习智能体，是否能在组合优化问题上实现更优性能？
• RQ2 与不可逆的、逐步构建的解法相比，动态探索解空间的能力是否能显著提升解的质量？
• RQ3 所提出的 ECO-DQN 框架能否泛化到训练时未见过的不同大小和结构的图？
• RQ4 在最大割问题上，ECO-DQN 相较于先前的 S2V-DQN 方法表现如何？
• RQ5 ECO-DQN 是否能与其它搜索启发式方法（如随机初始化）有效结合，进一步提升性能？

主要发现

• ECO-DQN 在最大割问题上实现了最先进性能，优于 S2V-DQN 基线方法。
• 性能提升归因于智能体能够逆转早期决策并动态探索解空间。
• ECO-DQN 在高达 2000 个顶点的图上表现出良好的泛化能力，即使在较小且结构不同的图上进行训练亦然。
• 该方法每步的计算成本与 S2V-DQN 相当，在 500 个顶点的图上每动作耗时为 6.64±0.09 ms。
• 将 ECO-DQN 与随机初始化结合可显著提升性能，表明其与其它搜索策略具有良好的兼容性。
• 消融实验确认，可逆动作和合理的奖励设计对实现性能提升至关重要。