[論文レビュー] MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control

Liwen Zhu, Peixi Peng+3 more|arXiv (Cornell University)|Jan 4, 2021

Traffic control and management被引用数 4

ひとこと要約

MetaVIM は、タスク固有の潜在変数と内因的報酬を用いて、隣接エージェントの方策の不確実性に起因する学習の不安定性を緩和する分散型交通信号制御のためのメタ強化学習フレームワークを提案する。各交差点をメタ学習のタスクとしてモデル化し、4つのデコーダーを用いて観測・報酬の不変性を強制することで、CityFlow において 724.21 の平均移動時間（ベースラインの 1096.82 に対して）を達成し、多様な都市環境において優れた汎化性能と安定性を示した。

ABSTRACT

Traffic signal control aims to coordinate traffic signals across intersections to improve the traffic efficiency of a district or a city. Deep reinforcement learning (RL) has been applied to traffic signal control recently and demonstrated promising performance where each traffic signal is regarded as an agent. However, there are still several challenges that may limit its large-scale application in the real world. To make the policy learned from a training scenario generalizable to new unseen scenarios, a novel Meta Variationally Intrinsic Motivated (MetaVIM) RL method is proposed to learn the decentralized policy for each intersection that considers neighbor information in a latent way. Specifically, we formulate the policy learning as a meta-learning problem over a set of related tasks, where each task corresponds to traffic signal control at an intersection whose neighbors are regarded as the unobserved part of the state. Then, a learned latent variable is introduced to represent the task's specific information and is further brought into the policy for learning. In addition, to make the policy learning stable, a novel intrinsic reward is designed to encourage each agent's received rewards and observation transition to be predictable only conditioned on its own history. Extensive experiments conducted on CityFlow demonstrate that the proposed method substantially outperforms existing approaches and shows superior generalizability.

研究の動機と目的

• 隣接エージェントの行動に起因する不確実性が生じる複数交差点の分散型制御において、効果的な方策を学習する課題に対処すること。
• 固定またはヒューリスティックな信号制御の限界を克服し、多様な交通パターンに一般化可能な、適応的でデータ駆動型の学習を可能にすること。
• 学習した潜在変数を用いてタスク固有のダイナミクスをモデル化することで、部分的に観測可能で非定常な環境における方策の安定性と収束性を向上させること。
• 関連する交差点制御タスクの集合におけるメタ学習を通じて、新しい未観測の交通状況への迅速な適応を可能にすること。
• 観測および報酬の不変性を促進する内在的報酬機構を設計し、学習の安定性と一般化性能の向上を図ること。

提案手法

• 各交差点を固有の潜在変数が符号化する履歴軌道とタスク固有のダイナミクスを持つタスクとして扱うメタ強化学習問題に定式化する。
• 過去の軌道に条件付けられた潜在変数を導入し、タスク固有の報酬、遷移、方策構造を表現することで、個別化された方策適応を可能にする。
• 現在のエージェントのみ、隣接エージェントのみ、両方、およびいずれもなしの4つのシナリオを想定し、すべて潜在変数に条件付けられた4つのデコーダーを用いて次の観測と報酬を予測する。
• 現在の報酬と報酬の差分を最小化する内在的報酬を設計し、観測および報酬の不変性を促進することで、学習の安定性を高める。
• 内在的報酬を用いて探索と活用のバランスを図り、隣接エージェントの行動変化に対して頑健な方策を学習するよう促進する。
• エンド・トゥ・エンドでメタ強化学習の目的関数を用いて方策を訓練することで、微調整を最小限に抑えつつ新しい状況への迅速な適応を可能にする。

Figure 1: Illustration of the task uncertainty in multi-intersection control scenario. For intersection 1, the current policy is to choose North-South-Straight-Green conditioned on its local observation. However, under the same state, take the same action, when neighbour’s policy changes, transition

実験結果

リサーチクエスチョン

• RQ1 タスク固有の潜在変数を用いたメタ強化学習は、多様で未観測の都市環境において分散型交通信号制御の汎化性能を向上させ得るか？
• RQ2 予測デコーダーを用いて隣接エージェントの方策の不確実性をモデル化することで、マルチエージェント交通制御における方策の安定性と収束性は向上するか？
• RQ3 観測および報酬の不変性に基づく内在的報酬は、部分的に観測可能で非定常な交通環境において、学習効率と性能をどの程度向上させるか？
• RQ4 メタ強化学習を用いて学習された分散型方策は、大規模で実世界の交通ネットワークにおいて、集中型または独立型強化学習のベースラインを上回る性能を示せるか？
• RQ5 提案手法は、異なる都市や交通状況における交通パターンの分布シフトに対処できるか？

主な発見

• MetaVIM は、杭州、濟南、ニューヨーク、深センの4つの実都市において平均移動時間を 724.21 に達成し、ベースラインモデル（1096.82）および CoLight（767.75）や MetaLight（1147.33）といった既存手法を大きく上回った。
• 実世界テストモードでは、ベースライン比で平均移動時間を 30.5% 削減した。杭州では 44.8%、濟南では 34.7%、ニューヨークでは 28.6%、深センでは 30.4% の改善を達成した。
• 再トレーニングなしに、低交通量・高交通量の混合パターンや実際の交通パターンにおいても、優れた性能を示し、優れた汎化性能を確認した。
• 内在的報酬機構により、隣接エージェントを含む場合と含まない場合の予測誤差の差が低減され、安定的で頑健な方策学習に寄与した。
• すべての都市および交通状況において、CoLight や PressLight、SOTL といった最先端手法を上回った。特に変動が激しい状況下で顕著な優位性を示した。
• アブレーションスタディの結果、潜在変数および内在的報酬の両方が不可欠であることが確認された。両者のいずれかを除去すると、性能が著しく低下し、一般化と安定性の向上に果たす役割が裏付けられた。

Figure 2: The illustration of POMDPs in traffic signal control. We formulate the traffic signal control as a meta-learning problem across multiple POMDPs. In a POMDP, agent can only obtain its local observation and regard the neighbours’ policies as the unobserved part of the environment.