[論文レビュー] Smart Train Operation Algorithms based on Expert Knowledge and Reinforcement Learning

Kaichen Zhou, Shiji Song+3 more|arXiv (Cornell University)|Mar 6, 2020

Railway Systems and Energy Efficiency参考文献 37被引用数 4

ひとこと要約

本稿では、深層決定的方策勾配（DDPG）に基づくSTODおよび正規化利得関数（NAF）に基づくSTONという2つのスマートな列車運行アルゴリズムを提案する。これらのアルゴリズムは、強化学習と熟練ドライバーの運転知識を統合し、地下鉄システムにおけるエネルギー効率、正確性、快適性を最適化する。手動運転および既存のATOシステムと比較して優れた性能を発揮し、運行時間や抵抗条件の変化に対しても柔軟性と頑丈さを示す。特に、北京・亦庄線の実データを用いたシミュレーションでは、STONがわずかに優れた全体的な結果を示した。

ABSTRACT

During recent decades, the automatic train operation (ATO) system has been gradually adopted in many subway systems for its low-cost and intelligence. This paper proposes two smart train operation algorithms by integrating the expert knowledge with reinforcement learning algorithms. Compared with previous works, the proposed algorithms can realize the control of continuous action for the subway system and optimize multiple critical objectives without using an offline speed profile. Firstly, through learning historical data of experienced subway drivers, we extract the expert knowledge rules and build inference methods to guarantee the riding comfort, the punctuality, and the safety of the subway system. Then we develop two algorithms for optimizing the energy efficiency of train operation. One is the smart train operation (STO) algorithm based on deep deterministic policy gradient named (STOD) and the other is the smart train operation algorithm based on normalized advantage function (STON). Finally, we verify the performance of proposed algorithms via some numerical simulations with the real field data from the Yizhuang Line of the Beijing Subway and illustrate that the developed smart train operation algorithm are better than expert manual driving and existing ATO algorithms in terms of energy efficiency. Moreover, STOD and STON can adapt to different trip times and different resistance conditions.

研究の動機と目的

• 地下鉄システムにおけるエネルギー効率、正確性、快適性を最適化する知的な列車運行アルゴリズムの開発を目的とする。
• 事前に計算されたオフライン速度プロファイルに依存しない連続的アクション制御を可能にすることで、既存のATOシステムの限界を克服することを目的とする。
• 熟練ドライバーから得た専門知識を強化学習フレームワークに統合し、安定性と実世界への適用可能性を向上させることを目的とする。
• 変動する運行時間および動的抵抗条件の下で、提案アルゴリズムの柔軟性と頑丈さを評価することを目的とする。
• モデルフリーの強化学習に専門的推論を組み合わせることで、手動運転および従来のATO手法を上回る性能を達成できることを示すこと

提案手法

• 熟練地下鉄ドライバーの履歴運転データから、快適性、安全性、正確性をモデル化する専門知識ルールを抽出した。
• ドライバーの専門知識を強化学習方策ネットワークに埋め込むための知識情報インフェレンス機構を開発した。
• エネルギー効率的な列車運行における連続的アクション制御を目的として、深層決定的方策勾配（DDPG）を用いたSTODを提案した。
• 連続的制御におけるサンプル効率および方策安定性を向上させるために、正規化利得関数（NAF）を用いたSTONを提案した。
• 安全性および快適性制約が学習中に満たされるように、専門知識ルールを報酬関数および方策ネットワークに統合した。
• 北京地下鉄亦庄線の実際の現場データを用い、複数の運用シナリオ下でアルゴリズムを学習および検証した。

実験結果

リサーチクエスチョン

• RQ1 専門知識を統合した強化学習アルゴリズムは、手動運転および既存のATOシステムと比較して、より高いエネルギー効率を達成できるか？
• RQ2 運行時間の変動下で、STODおよびSTONは快適性、正確性、安全性の観点でどの程度の性能を発揮するか？
• RQ3 気象や老朽化したインfraストラクチャの影響による抵抗の変化に、提案アルゴリズムはどの程度適応できるか？
• RQ4 専門知識の統合は、列車運行の連続的制御タスクにおける深層強化学習の安定性および収束性をどの程度向上させるか？
• RQ5 STODおよびSTONのうち、どのアルゴリズムが多様な運用条件下で優れた性能と頑丈さを示すか？

主な発見

• STODおよびSTONは、熟練ドライバーの手動運転を著しく上回るエネルギー効率を達成した。特に、STONはすべてのテストケースで最低のエネルギー消費量を記録した。
• 両アルゴリズムとも、すべてのテスト条件下で正確性と安全性を維持した。時間誤差は許容可能な3秒以内に収束した。
• STONはSTODに比べ、エネルギー効率および快適性の観点で優れた全体的性能を示した。1つのシナリオでは2秒の運行時間の延長があったが、依然として優れた結果を示した。
• 勾配条件の変化に対しても、アルゴリズムは強い頑丈さを示し、環境的・インfraストラクチャ的要因による抵抗変化に対しても安定した性能を維持した。
• 専門知識の統合により、方策の安定性が向上し、危険な行動のリスクが低減され、実運用環境での信頼性ある導入が可能になった。
• 提案モデルは、異なる運行時間に対応する柔軟性を示し、STODおよびSTONとも、さまざまな計画期間において合理的な制御戦略を生成した。