[论文解读] Gamifying the Vehicle Routing Problem with Stochastic Requests

Nicholas Kullman, Nikita Dudorov+3 more|arXiv (Cornell University)|Nov 14, 2019

Optimization and Search Problems参考文献 15被引用 4

一句话总结

本文提出了一种名为'Atari化'的新方法，将复杂的序列决策问题（如具有随机服务请求的车辆路径问题，VRPSSR）重新表述为类似Atari游戏的环境，以利用深度强化学习（DRL）智能体。该方法将问题状态映射为视觉像素表示，使DRL智能体能够通过试错学习来学习最优路径策略。初步结果表明，使用DRL框架求解随机VRP具有潜力。

ABSTRACT

Do you remember your first video game console? We remember ours. Decades ago, they provided hours of entertainment. Now, we have repurposed them to solve dynamic and stochastic optimization problems. With deep reinforcement learning methods posting superhuman performance on a wide range of Atari games, we consider the task of representing a classic logistics problem as a game. Then, we train agents to play it. We consider several game designs for the vehicle routing problem with stochastic requests. We show how various design features impact agents' performance, including perspective, field of view, and minimaps. With the right game design, general purpose Atari agents outperform optimization-based benchmarks, especially as problem size grows. Our work points to the representation of dynamic and stochastic optimization problems via games as a promising research direction.

研究动机与目标

• 开发一种可泛化的建模方法，将复杂的运筹学问题转化为类似Atari的游戏，以应用最先进的深度强化学习（DRL）技术。
• 证明原始在Atari游戏上训练的DRL智能体能否泛化应用于涉及不确定性的现实世界序列决策问题，如VRPSSR。
• 探究视觉状态表示是否能有效编码复杂问题结构，使DRL智能体在无需显式特征工程的情况下学习有意义的策略。
• 评估Atari化作为可扩展、可重用框架在求解广泛类别的NP难问题（涉及动态不确定性和序列决策）方面的潜力。
• 识别该方法的局限性和约束，特别是多智能体场景下以及在保持距离矩阵等结构特性方面的挑战。

提出的方法

• 将问题重新表述为基于网格的二维第三人称视频游戏，其中环境状态以像素网格表示，每个单元格编码相关的问题特征，如车辆位置、客户需求和时间窗状态。
• 状态表示使用离散像素值：0表示非活动或已过时间窗的客户，10表示剩余时间超过15分钟的时间窗，20表示其他情况，从而实现DRL智能体对视觉输入的处理。
• DRL智能体使用深度Q网络（DQN）架构学习状态-动作对的Q值，选择能最大化累积期望奖励的动作（如前往下一个客户）。
• 环境设计在格式上模仿Atari游戏——二维、基于屏幕、具有离散动作和稀疏奖励——使其与现有DRL训练流水线（如OpenAI Baselines）兼容。
• 该方法利用DRL智能体的视觉感知能力，使其能够处理原始像素输入，而无需手工设计状态特征，类似于人类对视觉场景的解读方式。
• 该方法具有通用性：任何具有序列决策结构且可可视化状态空间的问题均可被‘Atari化’，包括TSP、背包问题和调度问题。

实验结果

研究问题

• RQ1 能否将具有随机服务请求的车辆路径问题有效重构为类似Atari的游戏，以支持深度强化学习智能体的训练？
• RQ2 在Atari游戏上预训练的现有DRL智能体，在多大程度上能泛化应用于新且复杂的运筹学问题（如VRPSSR）？
• RQ3 视觉状态表示在多大程度上保留了原始问题的关键结构和动态特性（如时间窗和车辆容量）？
• RQ4 当应用于多智能体或约束敏感问题（如多车辆路径问题或需要精确距离矩阵的问题）时，Atari化存在哪些局限性？
• RQ5 Atari化能否作为可重用框架，用于求解大量在不确定性下涉及序列决策的问题？

主要发现

• Atari化方法成功地将VRPSSR映射为具有视觉状态表示的游戏化环境，使DRL智能体能够通过强化学习学习路径策略。
• 初步结果表明，基于Atari化VRPSSR环境训练的DRL智能体实现了具有竞争力的性能，尽管尚未实现突破性进展，但证明了该方法的可行性。
• 通过基于像素的状态编码，该方法保留了关键问题特征（如时间窗和随机客户请求），使智能体能够对动态不确定性进行推理。
• 该方法具有通用性：类似的视觉重构可应用于其他NP难问题（如TSP、背包问题和调度问题），可能使DRL通过类似游戏的接口求解这些问题。
• 局限性包括可能损失精确距离矩阵的保真度，以及在多智能体场景中，动作与视觉实体的映射变得模糊。
• 该框架支持Atari化问题形式的重用与共享，可减少未来研究的设置时间，并推动基于DRL的运筹学领域标准化。