[論文レビュー] Solving the single-track train scheduling problem via Deep Reinforcement Learning

Valerio Agasucci, Giorgio Grani+1 more|arXiv (Cornell University)|Sep 1, 2020

Railway Systems and Energy Efficiency参考文献 16被引用数 4

ひとこと要約

本稿では、単線鉄道の列車ダイヤ調整問題を解くために、Deep Q-Network (DQN) を用いた強化学習手法を提案し、各列車に独立したエージェントを割り当てる分散型（per-train agents）と、全ネットワークの観測をもつ集中型（グラフニューラルネットワークを用いた）手法を比較している。集中型DQNは、従来の線形Q学習や混合整数プログラミング（MILP）の定式化を上回り、特に大規模で複雑なインスタンスにおいて、平均遅れを最大50％まで低減した。

ABSTRACT

Every day, railways experience disturbances and disruptions, both on the network and the fleet side, that affect the stability of rail traffic. Induced delays propagate through the network, which leads to a mismatch in demand and offer for goods and passengers, and, in turn, to a loss in service quality. In these cases, it is the duty of human traffic controllers, the so-called dispatchers, to do their best to minimize the impact on traffic. However, dispatchers inevitably have a limited depth of perception of the knock-on effect of their decisions, particularly how they affect areas of the network that are outside their direct control. In recent years, much work in Decision Science has been devoted to developing methods to solve the problem automatically and support the dispatchers in this challenging task. This paper investigates Machine Learning-based methods for tackling this problem, proposing two different Deep Q-Learning methods(Decentralized and Centralized). Numerical results show the superiority of these techniques with respect to the classical linear Q-Learning based on matrices. Moreover, the Centralized approach is compared with a MILP formulation showing interesting results. The experiments are inspired by data provided by a U.S. Class 1 railroad.

研究の動機と目的

• ネットワークの混乱状況下で、人間のディスパatcherが遅延の連鎖的影響を十分に把握できないリアルタイムでオンラインの列車ダイヤ調整問題に対処すること。
• 深層強化学習が、古典的な最適化手法や線形Q学習手法よりも、単線列車スケジューリング問題を解く際に優れた性能を示すかどうかを調査すること。
• 米国1類鉄道を模した現実的で大規模な鉄道インスタンスにおいて、分散型と集中型DQNアプローチのスケーラビリティと性能を評価すること。
• 時間制約下での解の品質と計算効率の観点から、深層RLアプローチと標準的なMILP定式化を比較すること。

提案手法

• 論文では、列車ダイヤ調整問題を、行動が再スケジューリングまたは迂回ルート選択意思決定に対応するマークフ・決定過程（MDP）として定式化している。
• 2種類のDQNバリエーションを提案：各列車が隣接する線路上の状態をローカルに観測する独立エージェントとしての分散型アプローチ、および全ネットワークの可視性を持つ集中型アプローチ。
• 集中型手法では、鉄道ネットワークの状態を符号化し、Q値を推定するためにグラフニューラルネットワーク（GNN）を採用しており、これにより異なるネットワークサイズに一般化可能である。
• DQNエージェントは、学習の安定化のため経験再生とターゲットネットワークを用いて訓練され、遅れに基づくスパarsely shaped報酬が使用された。
• 評価は、列車数やリソース（線路／駅）の数が異なる5つのテストセットを用い、各インスタンスに10分の時間制限を設けて実施された。
• 性能は、解かれたインスタンス数、平均遅れ、重複する問題セットにおける解の品質といった指標を用いてMILP定式化とベンチマーク比較された。

実験結果

リサーチクエスチョン

• RQ1 深層Q学習は、古典的な線形Q学習を上回り、単線列車ダイヤ調整問題を解く際に優れた性能を示せるか？
• RQ2 GNNに基づく状態表現を用いた集中型DQNは、解の品質とスケーラビリティの観点からMILP定式化と比べてどのように差をつけるか？
• RQ3 再トレーニングなしで、集中型DQNは大規模な鉄道ネットワークに効果的に一般化できるか？
• RQ4 問題の複雑さが増すに従い、分散型と集中型DQNアプローチの性能と耐障害性にはどのような差が生じるか？
• RQ5 大規模で複雑なインスタンスにおいて、RLアプローチはMILPに比べて平均遅れをどの程度低減できるか？

主な発見

• 集中型DQNアプローチは、最も複雑なテストセット（50列車、196リソース）において、MILPの平均遅れ32,504に対して、RLの平均遅れを16,379にまで低減し、平均遅れを最大50％まで削減した。
• 50 T 185 R テストセットでは、MILPの平均遅れがRLアプローチの150％以上も高く、高複雑度下での顕著な性能差が示された。
• 集中型DQNは10分の時間制限内に50インスタンス中43件を解消したのに対し、MILPは41件にとどまり、時間制約下での解法可能性は同等または優れていることが示された。
• 集中型手法は、リソース数を137から196に増加させても、遅れが低く抑えられるようになり、大規模ネットワークへの一般化がうまくいった。一方、MILPは平均遅れが急激に上昇した。
• 分散型DQNは小規模インスタンスでは優れた性能を示したが、グローバルなネットワーク状態の認識が限られているため、特に大規模ネットワークではスケーラビリティに課題を抱えた。
• 重複する解かれたインスタンスにおいても、RLベースの手法はMILPよりも常に低い平均遅れを達成しており、特に問題サイズが大きくなるに従い、学習ベースのグローバル計画の利点が顕著に現れた。