[论文解读] Developing an OpenAI Gym-compatible framework and simulation environment for testing Deep Reinforcement Learning agents solving the Ambulance Location Problem

Michael Allen, Kerry Pearn+1 more|arXiv (Cornell University)|Jan 12, 2021

Facility Location and Emergency Management参考文献 13被引用 5

一句话总结

本论文提出了一种与 OpenAI Gym 兼容的仿真环境，用于在救护车调度问题上测试深度强化学习（DRL）智能体，采用 SimPy 进行离散事件仿真，使用 PyTorch 构建 DRL 模型。集成噪声双 duelling 深度 Q 网络（Bagging Noisy Duelling Deep Q Network）表现最佳，相比随机分配策略显著降低了响应时间，尽管所有智能体在长时间训练后均表现出性能下降。

ABSTRACT

Background and motivation: Deep Reinforcement Learning (Deep RL) is a rapidly developing field. Historically most application has been made to games (such as chess, Atari games, and go). Deep RL is now reaching the stage where it may offer value in real world problems, including optimisation of healthcare systems. One such problem is where to locate ambulances between calls in order to minimise time from emergency call to ambulance on-scene. This is known as the Ambulance Location problem. Aim: To develop an OpenAI Gym-compatible framework and simulation environment for testing Deep RL agents. Methods: A custom ambulance dispatch simulation environment was developed using OpenAI Gym and SimPy. Deep RL agents were built using PyTorch. The environment is a simplification of the real world, but allows control over the number of clusters of incident locations, number of possible dispatch locations, number of hospitals, and creating incidents that occur at different locations throughout each day. Results: A range of Deep RL agents based on Deep Q networks were tested in this custom environment. All reduced time to respond to emergency calls compared with random allocation to dispatch points. Bagging Noisy Duelling Deep Q networks gave the most consistence performance. All methods had a tendency to lose performance if trained for too long, and so agents were saved at their optimal performance (and tested on independent simulation runs). Conclusions: Deep RL agents, developed using simulated environments, have the potential to offer a novel approach to optimise the Ambulance Location problem. Creating open simulation environments should allow more rapid progress in this field.

研究动机与目标

• 开发一种与 OpenAI Gym 兼容的仿真环境，用于在救护车调度问题上测试深度强化学习智能体。
• 评估多种基于深度 Q 网络（DQN）的智能体在最小化救护车响应时间方面的性能。
• 支持可复现的研究，并为现实世界紧急医疗系统数字孪生的未来发展提供基础。
• 探索使用 DRL 在动态、类现实世界场景中优化救护车调度策略的可行性。

提出的方法

• 使用 SimPy 构建自定义仿真环境，以建模基于网格世界的事件生成、救护车调度、行驶及患者转运过程。
• 设计环境以兼容 OpenAI Gym，支持与标准 DRL 训练流程的集成。
• 实现了十种不同的 DRL 智能体架构，包括深度 Q 网络的 duelling、noisy、优先经验回放及集成（bagging）变体。
• 使用 PyTorch 训练并评估智能体，目标是最小化从紧急呼叫到救护车抵达的时间。
• 配置环境以改变事件模式、调度点数量、救护车数量及医院数量，以模拟不同运营场景。
• 采用 epsilon-greedy 探索策略训练智能体，并在性能峰值时保存模型，以避免过拟合和性能下降。

实验结果

研究问题

• RQ1 与 Gym 兼容的仿真环境能否有效建模救护车调度问题，以支持 DRL 训练与评估？
• RQ2 不同 DQN 架构（如 duelling、noisy、优先经验回放、bagging）在减少救护车响应时间方面的表现如何比较？
• RQ3 长时间训练是否会导致 DRL 智能体在救护车调度任务中性能下降？若存在，应如何缓解？
• RQ4 DRL 智能体能否在最小化到达现场时间方面优于随机调度分配策略？
• RQ5 该框架在多大程度上可扩展以模拟现实世界的复杂性，并作为实际运营训练的数字孪生系统？

主要发现

• 所有 DRL 智能体相比随机调度分配策略，均显著降低了救护车响应时间。
• 集成噪声双 duelling 深度 Q 网络在所有测试场景中表现出最一致且最优的性能。
• 所有智能体在长时间训练后均出现性能下降，表明需在性能最佳点保存模型。
• 集成噪声双 duelling DQN 通过集成投票提供不确定性估计，增强了决策的可靠性。
• 仿真环境成功支持了多种 DRL 智能体的训练与评估，实现了直接比较与可复现性。
• 该框架具有可扩展性，且与现有 DRL 库（如 OpenAI Baselines 和 TensorFlow Agents）兼容，支持更广泛的应用与集成。