[論文レビュー] Developing an OpenAI Gym-compatible framework and simulation environment for testing Deep Reinforcement Learning agents solving the Ambulance Location Problem

Michael Allen, Kerry Pearn+1 more|arXiv (Cornell University)|Jan 12, 2021

Facility Location and Emergency Management参考文献 13被引用数 5

ひとこと要約

この論文では、Deep Reinforcement Learning (DRL) エージェントのアンバランス配置問題に対するテストを可能にする、OpenAI Gym互換のシミュレーション環境を提示している。離散イベントシミュレーションにはSimPy、DRLモデルにはPyTorchを用いている。Bagging Noisy Duelling Deep Q Networkが最も優れた性能を示し、ランダム割り当てと比較して応答時間を短縮したが、すべてのエージェントが延長された訓練により性能低下を示した。

ABSTRACT

Background and motivation: Deep Reinforcement Learning (Deep RL) is a rapidly developing field. Historically most application has been made to games (such as chess, Atari games, and go). Deep RL is now reaching the stage where it may offer value in real world problems, including optimisation of healthcare systems. One such problem is where to locate ambulances between calls in order to minimise time from emergency call to ambulance on-scene. This is known as the Ambulance Location problem. Aim: To develop an OpenAI Gym-compatible framework and simulation environment for testing Deep RL agents. Methods: A custom ambulance dispatch simulation environment was developed using OpenAI Gym and SimPy. Deep RL agents were built using PyTorch. The environment is a simplification of the real world, but allows control over the number of clusters of incident locations, number of possible dispatch locations, number of hospitals, and creating incidents that occur at different locations throughout each day. Results: A range of Deep RL agents based on Deep Q networks were tested in this custom environment. All reduced time to respond to emergency calls compared with random allocation to dispatch points. Bagging Noisy Duelling Deep Q networks gave the most consistence performance. All methods had a tendency to lose performance if trained for too long, and so agents were saved at their optimal performance (and tested on independent simulation runs). Conclusions: Deep RL agents, developed using simulated environments, have the potential to offer a novel approach to optimise the Ambulance Location problem. Creating open simulation environments should allow more rapid progress in this field.

研究の動機と目的

• Deep Reinforcement Learningエージェントのアンバランス配置問題に対するテストを可能にする、OpenAI Gym互換のシミュレーション環境を開発すること。
• さまざまなDeep Q Networkベースのエージェントの性能を、アンバランスの応答時間を最小化する観点から評価すること。
• 再現可能な研究と、現実世界の緊急医療システムのデジタルツインとしての今後の開発を可能にすること。
• 動的で現実に近いシナリオにおけるアンバランス出動戦略の最適化に、DRLを用いる可能性を検討すること。

提案手法

• グリッドベースの世界におけるインシデント発生、アンバランスの出動、移動、患者搬送をモデル化するため、SimPyを用いたカスタムシミュレーション環境を構築した。
• OpenAI Gymと互換性を持つように環境を設計し、標準的なDRLトレーニングパイプラインへの統合を可能にした。
• DQNの変種として、デュエル型、ノイズあり、優先順位付きリプレイ、バギングを含む10種類の異なるDRLエージェントアーキテクチャを実装した。
• PyTorchを用いて、緊急通報からアンバランス到着までの時間を最小化する目的でエージェントの学習と評価を実施した。
• インシデントパターン、出動ポイント数、アンバランス数、病院数を変更できるように環境を設定し、さまざまな運用シナリオをシミュレートした。
• エpsilon-greedy探索を用いてエージェントを訓練し、過学習や性能低下を避けるために最良の性能を示したモデルを保存した。

実験結果

リサーチクエスチョン

• RQ1 Gym互換のシミュレーション環境は、DRLトレーニングおよび評価のためのアンバランス配置問題を効果的にモデル化できるか？
• RQ2 デュエル型、ノイズあり、優先順位付きリプレイ、バギングなどのさまざまなDQNベースのアーキテクチャは、アンバランスの応答時間をどの程度短縮できるか？
• RQ3 延長された訓練により、アンバランス出動のためのDRLエージェントに性能低下が生じるか？もしそうなら、その対策は何か？
• RQ4 DRLエージェントは、時間的到着を最小化する観点から、ランダムなアンバランス割り当てを上回ることができるか？
• RQ5 このフレームワークは、現実世界の複雑さをモデル化し、運用訓練用のデジタルツインとしてどの程度拡張可能か？

主な発見

• すべてのDRLエージェントが、ランダム割り当てと比較して、アンバランスの応答時間を顕著に短縮した。
• Bagging Noisy Duelling Deep Q Networkが、テストシナリオ全体で最も一貫性があり、最高の性能を示した。
• 延長された訓練後、すべてのエージェントで性能低下が観察されたため、最適な性能を示した時点でのモデル保存が不可欠であることがわかった。
• Bagging Noisy Duelling DQNはアンサンブル投票により不確実性の推定を可能にし、意思決定の信頼性を向上させた。
• シミュレーション環境は、多様なDRLエージェントのトレーニングと評価を効果的にサポートし、直接的な比較と再現性を可能にした。
• このフレームワークは拡張可能であり、OpenAI Baselines や TensorFlow Agents などの既存のDRLライブラリとも互換性があるため、広範な採用と統合が可能である。