[論文レビュー] Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization

Zhi Zhang, Jiachen Yang+1 more|arXiv (Cornell University)|Sep 23, 2019

Traffic control and management参考文献 29被引用数 24

ひとこと要約

本稿では、局所的効用関数とグローバル行動価値関数の整合性を新たな正則化損失によって強制することで、独立学習と集中学習を統合するマルチエージェント強化学習アルゴリズムQCOMBOを提案する。本手法は、多様な交通状況やネットワークサイズにおいて最先端の性能と強力な汎化性能を達成し、実世界の交通最適化に向けたスケーラビリティとロバストネスを示している。

ABSTRACT

Traffic congestion in metropolitan areas is a world-wide problem that can be ameliorated by traffic lights that respond dynamically to real-time conditions. Recent studies applying deep reinforcement learning (RL) to optimize single traffic lights have shown significant improvement over conventional control. However, optimization of global traffic condition over a large road network fundamentally is a cooperative multi-agent control problem, for which single-agent RL is not suitable due to environment non-stationarity and infeasibility of optimizing over an exponential joint-action space. Motivated by these challenges, we propose QCOMBO, a simple yet effective multi-agent reinforcement learning (MARL) algorithm that combines the advantages of independent and centralized learning. We ensure scalability by selecting actions from individually optimized utility functions, which are shaped to maximize global performance via a novel consistency regularization loss between individual utility and a global action-value function. Experiments on diverse road topologies and traffic flow conditions in the SUMO traffic simulator show competitive performance of QCOMBO versus recent state-of-the-art MARL algorithms. We further show that policies trained on small sub-networks can effectively generalize to larger networks under different traffic flow conditions, providing empirical evidence for the suitability of MARL for intelligent traffic control.

研究の動機と目的

• 大規模な交通信号ネットワークにおける協調的マルチエージェント制御の課題に対処すること。独立学習では非定常性のため失敗し、コンビナトリアルな行動空間のため集中学習は非現実的である。
• 局所的観測による効率的な行動選択とグローバル情報による協調的最適化を活用するスケーラブルなMARLフレームワークを構築すること。
• 小規模なサブネットワークで学習したMARL方策が、より大きな未観測の交通ネットワークおよび動的交通状況に効果的に汎化できるかを評価すること。
• 特にシミュレーションから実環境、およびシミュレーションからより大きな環境への転送を想定した、深層MARL方策の転送可能性とロバストネスを調査すること。

提案手法

• QCOMBOは、各エージェントに対して独立Q学習を用い、局所的観測と局所的報酬に基づく個々の効用関数を最適化する。
• グローバル報酬に基づいて学習される集中型グローバル行動価値関数 $ Q(s, \mathbf{a}) $ を導入し、全体のネットワーク性能をガイドする。
• 新たな整合性正則化損失 $ L(Q, \{Q^n\}) $ を導入し、グローバル行動価値関数と個々の効用関数の重み付き和の整合性を強制する。
• 正則化により、推論時に連携行動最適化を必要とせずに、局所的方策がグローバルパフォーマンスを最大化するように形状づけられる。
• 独立的な行動選択によりスケーラブルな推論が可能であり、正則化された整合性を介して集中学習による協調性を維持する。
• 性能と汎化性能の評価を目的として、SUMO交通シミュレータを用い、複数の道路トポロジーと交通フロー状態で実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 独立学習と集中学習を統合するハイブリッドMARLアプローチが、交通信号制御において純粋に独立的または集中的な手法よりも優れたパフォーマンスを達成できるか？
• RQ2 小規模なサブネットワークで学習したMARL方策が、異なるトポロジーや交通フローを持つより大きな複雑な交通ネットワークにどれほど効果的に汎化できるか？
• RQ3 局所的価値関数とグローバル価値関数の間に整合性正則化損失を組み込むことで、動的交通状況下での方策の汎化性能が向上するか？
• RQ4 ある交通状況で学習した方策が、顕著に異なる交通フロー環境に展開された場合でも高いパフォーマンスを維持できるか？
• RQ5 限定的なエージェント数での集中学習が、より大きな実世界の交通ネットワークに効果的にスケーリングできる方策を生成するか？

主な発見

• QCOMBOは、COMA、QMIX、VDN、IAC、IDQNを含む最先端のMARLアルゴリズムを、多様な道路トポロジーと交通状況において上回るグローバル交通パフォーマンスで凌駃する。
• QCOMBOは、未観測の交通フローへの汎化性能が顕著に優れている。t=2000とt=3000で交通状況が変化しても、IDQN や QMIX が適応不能となるのに対し、QCOMBOは最小限の性能低下で高いパフォーマンスを維持する。
• 1つの交通フローで学習した方策が、2つの異なるテストフローに効果的に汎化する。QCOMBOは、テスト条件の変動に対して最も一貫性があり、分散が最小となるパフォーマンスを示す。
• QCOMBOで学習した方策は、36エージェントを有するより大きな $6\times 6$ ネットワークに対しても顕著に優れた汎化性能を示し、そのトポロジーに特化して学習した方策と同等またはそれを上回るパフォーマンスを達成する。
• 整合性正則化損失により、特定の訓練条件への過剰適合が防止され、異なる交通密度やフローディストリビューションにわたるフロー不変性とロバストネスが実現される。
• QCOMBOは、より大きなネットワークに展開されても安定的かつ高い報酬を維持する。これは、小規模なサブネットワークでの集中学習が、実世界の展開に向けたスケーラブルで転送可能な方策を生成できることを示している。