[論文レビュー] Hybrid Multi-agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems

Tobias Enders, J. Harrison+2 more|arXiv (Cornell University)|Dec 14, 2022

Transportation and Mobility Innovations被引用数 6

ひとこと要約

本稿では、自律型モビリティ・オン・デマンド（AMoD）システムにおける能動的で利益最大化を図るリクエスト割り当ておよび拒否を可能にする、ハイブリッドなマルチエージェント深層強化学習フレームワークを提案する。この手法は、マルチエージェントSoft Actor-Criticと集中型加重二部マッチングを組み合わせており、実世界のタクシーデータ上で、グリーディーやモデル予測制御（MPC）のベンチマークを上回る優れた性能、安定性、計算効率を達成している。特にMPCを最大5%上回っており、テストインスタンス全体で一貫性のある結果を示している。

ABSTRACT

We consider the sequential decision-making problem of making proactive request assignment and rejection decisions for a profit-maximizing operator of an autonomous mobility on demand system. We formalize this problem as a Markov decision process and propose a novel combination of multi-agent Soft Actor-Critic and weighted bipartite matching to obtain an anticipative control policy. Thereby, we factorize the operator's otherwise intractable action space, but still obtain a globally coordinated decision. Experiments based on real-world taxi data show that our method outperforms state of the art benchmarks with respect to performance, stability, and computational tractability.

研究の動機と目的

• 大規模で時間的に変化するアクション空間を持つ自律型モビリティ・オン・デマンド（AMoD）システムにおいて、能動的で利益最大化を図るリクエスト割り当ておよび拒否の課題に対処すること。
• 大規模AMoDシステムにおける集中型意思決定の非実行可能性を克服するため、マルチエージェント学習によるアクション空間の分解を実施しつつ、グローバルな協調性を維持すること。
• 深層学習と組合せ最適化を活用した、リアルタイムのディスパッチ意思決定に適したスケーラブルで安定した強化学習手法の開発。
• 提案手法を、グリーディー方策およびモデル予測制御（MPC）を含む最先端のベンチマークと比較し、実世界データ上で性能、安定性、計算の実行可能性を検証すること。

提案手法

• 本手法は、利益最大化を目的関数とするマルコフ決定過程（MDP）としてAMoDディスパッチング問題を定式化する。
• 各車両が独立したエージェントとして動作するマルチエージェントSoft Actor-Critic（SAC）アルゴリズムを採用し、分散型方策と集中型の価値推定のためのクリティックを備える。
• アクション空間は、各エージェントが独立して候補リクエストを選択できるように因子分解され、その後、集中型の加重二部マッチングステップにより衝突を解消し、グローバルに最適な割り当てを保証する。
• 加重二部マッチングは、SACクリティックから得られる状態-行動価値を活用し、高利益・低コストの割り当てを優先することで、協調的かつ予測可能な意思決定を実現する。
• ターゲットネットワークの更新には指数移動平均を用い、各インスタンスごとにエントロピー係数をチューニングすることで、探索と活用のバランスを図る。
• 最終的な意思決定は、候補マッチングの上での集中型最適化問題を解くことで実現され、全アクション空間の列挙を必要とせずにグローバルに協調されたディスパッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習と集中型組合せ最適化を組み合わせたハイブリッド手法は、既存のベースラインと比較して、利益最大化を図るAMoDシステムにおいて、より優れた性能と安定性を達成できるか？
• RQ2 本手法は、収益、計算効率、および変動する実世界の交通状況下での頑健性という観点から、グリーディーおよびモデル予測制御（MPC）手法と比較してどのように異なるか？
• RQ3 訓練時の設定を超えて車両数やリクエスト数が増加した場合、本手法は一貫した性能を維持するか。これはスケーラビリティおよび非パrametric特性を示唆するか？
• RQ4 本設定において、オフポリシーのアクタクリティック手法（SAC）を用いることで、価値ベースのマルチエージェントDRL手法と比較して、サンプル効率および学習安定性がどの程度向上するか？

主な発見

• 提案手法は、すべてのテストインスタンスでグリーディーベンチマークを最大5%上回り、利益最大化の観点で一貫した向上を示している。
• 本手法は大多数のケースでMPCを著しく上回っており、MPCは単一インスタンスではグリーディー方策よりも最大60%も劣ることがあり、実世界の確率的要因に起因するMPCの不安定性を浮き彫りにしている。
• 本手法は、異なるテスト日やシステム設定間で優れた性能安定性を示しており、MPCが示す不規則な性能変動と比較して、結果の分散が極めて小さい。
• 訓練時とは異なる、より多くの車両やリクエストが存在するシステムに適用しても、本手法は高い性能を維持しており、非パrametricなスケーラビリティおよびシステムサイズ変更に対する頑健性を示している。
• 学習プロセスは安定した収束を示しており、検証報酬が時間経過とともに着実に向上し、正の値に達するなど、効果的な学習が行われていることが示された。
• アブレーションスタディにより、マルチエージェントSACと集中型マッチングを組み合わせたハイブリッド設計が不可欠であることが確認された。特に、部品を削除するか、単純なベースラインに置き換えると、性能が著しく低下する。