[論文レビュー] Improving Sample Efficiency and Multi-Agent Communication in RL-based Train Rescheduling

Dano Roost, Ralph Meier+5 more|arXiv (Cornell University)|Apr 28, 2020

Railway Systems and Energy Efficiency参考文献 4被引用数 1

ひとこと要約

本稿では、Flatland環境におけるマルチエージェント列車再スケジューリングのためのサンプル効率の良い強化学習手法を提示する。意思決定空間の制約とカリキュラム学習を用いることで、学習収束を改善する。本研究は2つの主要な仮説を提示する：1つ目は、確率的特性のため、ポリシー勾配法が高影響度環境において不適切である可能性があること。2つ目は、エージェント間の学習された通信が協調性を著しく向上させること。2台の列車が交換線を通過するタスクにおいて、通信を導入した場合の成功確率は95%に達したのに対し、通信なしでは47%にとどまり、その有効性が実証された。

ABSTRACT

We present preliminary results from our sixth placed entry to the Flatland international competition for train rescheduling, including two improvements for optimized reinforcement learning (RL) training efficiency, and two hypotheses with respect to the prospect of deep RL for complex real-world control tasks: first, that current state of the art policy gradient methods seem inappropriate in the domain of high-consequence environments; second, that learning explicit communication actions (an emerging machine-to-machine language, so to speak) might offer a remedy. These hypotheses need to be confirmed by future work. If confirmed, they hold promises with respect to optimizing highly efficient logistics ecosystems like the Swiss Federal Railways railway network.

研究の動機と目的

• 複雑で高密度な鉄道環境におけるマルチエージェント強化学習のサンプル効率を向上させること。
• 1つの悪い行動が不可逆的な連鎖反応を引き起こす可能性がある高影響度設定において、ポリシー勾配法の確率的特性が根本的な制限要因であるかどうかを解明すること。
• マルチエージェント強化学習が、協調性の欠如が生じるブottleneck状況において、効果的な暗黙の通信プロトコルを学習できるかどうかを調査すること。
• 深層強化学習がスイス連邦鉄道網のような実世界の物流システムに実用可能かどうかを評価すること。

提案手法

• 100x100の環境で、深さ3までの鉄道区間の2分木に基づく階層的観測空間を用い、A3Cアルゴリズムを適用。観測空間は固定長ベクトルにフラット化された。
• LSTM層を導入してエージェントの知覚と行動履歴の時間的依存性をモデル化。非再帰的モデルと比較して到着率が約11%向上した。
• 周囲にポイントがなければ「まっすぐ進む」ことをデフォルトとして意思決定空間を縮小。重要な意思決定ポイントに集中することで、到着率を44.5%から82.9%に向上。
• カリキュラム学習を適用。環境サイズとエージェント数を段階的に増加させ、エージェントが複雑なシナリオに取り組む前に基本的スキルを習得できるようにした。
• 5種類のアクションタイプ、EOT（送信終了）信号、共有バッファを備えた通信メカニズムを導入。エージェント間の協議を可能にした。
• 自己教師付き通信ループを採用。エージェントが交互にバッファにアクションを書き込み、両者がEOTを送信するまで繰り返すことで、経路の協調的交渉を実現。

実験結果

リサーチクエスチョン

• RQ1 意思決定空間の制約とカリキュラム学習を適用することで、マルチエージェント強化学習における列車再スケジューリングのサンプル効率が著しく向上するか？
• RQ2 ポリシー勾配法の確率的特性が、鉄道輸送制御のような高影響度環境において根本的な制限要因であるとされるか？
• RQ3 マルチエージェント強化学習が、ブottleneck状況における協調性の問題を解消するための効果的で暗黙の通信プロトコルを学習できるか？
• RQ4 学習された通信が、複雑なマルチエージェントナビゲーションタスクにおけるパフォーマンスにどの程度向上効果をもたらすか？

主な発見

• 意思決定空間の制約により、14エージェントを含む100x100環境で到着率が44.5%から82.9%に上昇。学習効率の顕著な向上を示した。
• カリキュラム学習により、エージェントが大規模で高密度な環境に取り組む前に基本的な経路探索と衝突回避を習得できた。逆に、初期段階から訓練を開始した場合、失敗に終わった。
• 2台の列車が交換線を通過するタスクにおいて、学習された通信を用いたエージェントは95%の成功率を達成した。通信なしでは47%にとどまり、協調的行動の有効性が裏付けられた。
• 通信プロトコルはエピソードごとに著しく変動し、ほとんどのエピソードで1〜4ラウンドの通信で十分だった。これは冗長でない、文脈に依存した情報交換であることを示している。
• LSTMを統合したモデルは、非再帰的モデルと比較して約11%の到着率向上を達成。逐次的意思決定における記憶の重要性が確認された。
• 第1ラウンドでは上位18位の成績を収めたが、第2ラウンドでは29.1%の到着率を達成し、上位6位にランクイン。複雑で高密度な交通状況の処理には依然として課題が残っていることが示された。