[論文レビュー] Multi-agent Reinforcement Learning for Networked System Control

Tianshu Chu, Sandeep Chinchali+1 more|arXiv (Cornell University)|Apr 3, 2020

Traffic control and management参考文献 23被引用数 62

ひとこと要約

この論文はネットワーク化された多エージェント強化学習を時空間MDPとして定式化し、空間ディスカウント係数を導入し、NeurCommを提案して交通信号制御と協調自動車クルーズコントロールの学習と制御を改善する適応的 neural 通信を可能にする。

ABSTRACT

This paper considers multi-agent reinforcement learning (MARL) in networked system control. Specifically, each agent learns a decentralized control policy based on local observations and messages from connected neighbors. We formulate such a networked MARL (NMARL) problem as a spatiotemporal Markov decision process and introduce a spatial discount factor to stabilize the training of each local agent. Further, we propose a new differentiable communication protocol, called NeurComm, to reduce information loss and non-stationarity in NMARL. Based on experiments in realistic NMARL scenarios of adaptive traffic signal control and cooperative adaptive cruise control, an appropriate spatial discount factor effectively enhances the learning curves of non-communicative MARL algorithms, while NeurComm outperforms existing communication protocols in both learning efficiency and control performance.

研究の動機と目的

• オフライン訓練の下で neighborhood 通信を用いたネットワーク制御の NMARL を定式化。
• 分散設定で学習を安定化させるための空間ディスカウント係数を導入。
• 情報損失と非定常性を低減する微分可能な通信プロトコル NeurComm を提案。
• 局所観測と隣接メッセージを用いて各エージェントの actor-critic (A2C) 更新を導出（政策損失と値損失の方程式）。
• オフラインロールアウト訓練と Offline-global 情報露出を用いて ATSC および CACC タスクで NMARL と NeurComm を評価。

提案手法

• 分散型時空間MDPとしてネットワーク化システムを近傍通信とともにモデリング。
• エージェント間の距離によって報酬を重み付けする空間ディスカウント係数 alpha を定義。
• 状態とポリシーフィンガープリントを含むメッセージを含む differentiable なメッセージエンコード/デコード方式 NeurComm を開発。
• ローカル観測と隣接メッセージを用いた各エージェントの actor-critic (A2C) 更新を導出（ポリシー損失と値損失の方程式）。
• オフラインローアウト訓練とオフライングローバル情報露出を用いて ATSC および CACC タスクで communicative と non-communicative MARL ベースラインを比較。

実験結果

リサーチクエスチョン

• RQ1 空間ディスカウント係数はネットワーク制御における非通信MARLの学習安定性と性能にどう影響するか？
• RQ2 学習可能なニューラル通信プロトコル（NeurComm）は NMARL において既存のプロトコルより学習効率と制御性能を改善できるか？
• RQ3 neighborhood 通信の下で実世界の NSC タスク（適応交通信号制御と協調自動車 cruise制御）における NMARL アプローチの性能は？
• RQ4 通信有り/無し MARL のサンプル効率、頑健性、実行性能のトレードオフは？

主な発見

• 空間ディスカウント係数は一般に非通信MARLの学習曲線を改善し、alpha値はしばし0.9以上に近い。
• NeurCommは難しい NSC シナリオで学習効率と制御性能において既存の通信プロトコルを上回る。
• NeurCommはATSCタスクで競争力を保ち、モナコネットワーク設定のより複雑な状況ではしばしば代替案を上回る。
• 通信方針は特定の指標でより速い性能を示すことがあるが、シナリオによってヘテロジニアスネットワークでの過学習に苦しむことがある。
• 最良の空間ディスカウント係数と通信戦略はシナリオごとに異なり、ATSCタスクでNeurCommが強い性能を示す。
• 設定全体を通して、調整された空間ディスカウント係数 alpha はタスクの難易度と協調のレベルと相関する。