[論文レビュー] Simulation to Scaled City: Zero-Shot Policy Transfer for Traffic Control via Autonomous Vehicles

Kathy Jang, Eugene Vinitsky+5 more|arXiv (Cornell University)|Dec 14, 2018

Traffic control and management参考文献 31被引用数 13

ひとこと要約

本論文は、シミュレーションから実世界のスケールドシティテストベッド（UDSSC）への深層強化学習制御用のゼロショットポリシー転送を示しており、状態空間および行動空間にノイズを注入することで、微調整なしに安定したランプメーター制御行動が自発的に出現することを示している。ノイズを注入したポリシーは、実世界のテストベッドにおいて平均移動時間を5%削減し、最大移動時間を22%削減した。これに対してノイズなしポリシーは一貫したメーター制御行動を再現できず、性能が劣っていた。

ABSTRACT

Using deep reinforcement learning, we train control policies for autonomous vehicles leading a platoon of vehicles onto a roundabout. Using Flow, a library for deep reinforcement learning in micro-simulators, we train two policies, one policy with noise injected into the state and action space and one without any injected noise. In simulation, the autonomous vehicle learns an emergent metering behavior for both policies in which it slows to allow for smoother merging. We then directly transfer this policy without any tuning to the University of Delaware Scaled Smart City (UDSSC), a 1:25 scale testbed for connected and automated vehicles. We characterize the performance of both policies on the scaled city. We show that the noise-free policy winds up crashing and only occasionally metering. However, the noise-injected policy consistently performs the metering behavior and remains collision-free, suggesting that the noise helps with the zero-shot policy transfer. Additionally, the transferred, noise-injected policy leads to a 5% reduction of average travel time and a reduction of 22% in maximum travel time in the UDSSC. Videos of the controllers can be found at https://sites.google.com/view/iccps-policy-transfer.

研究の動機と目的

• 自律走行車両のための深層強化学習を用いた交通制御におけるシミュレーションから実世界へのギャップを埋めること。
• 状態空間および行動空間へのノイズ注入が、実世界環境へのゼロショットポリシー転送を改善するかどうかを評価すること。
• シミュレーションからデルウェア大学のスケールドスマートシティ（UDSSC）テストベッドへの、自発的に出現するランプメーター制御行動の転送可能性を検証すること。
• ノイズを注入したポリシーが、混合自律性交通状況における移動時間の短縮と交通フローの向上という観点で、性能向上をどの程度達成できるかを定量すること。
• ノイズによるドメインランダマイゼーションが、シミュレーションから実世界へのドメインにわたるポリシー一般化をどのように促進するかを調査すること。

提案手法

• Flow（マイクロシミュレータ向け深層強化学習ライブラリ）を用いて、状態空間および行動空間にノイズを注入したポリシーと、ノイズなしのポリシーをそれぞれ学習した。
• シミュレーションにおける車両の運動モデルに、インテリジェントドライバー・モデル（IDM）を用い、実世界の不確実性を模倣するためのノイズを追加した。
• 状態空間および行動空間へのノイズを用いたドメインランダマイゼーションを適用し、シミュレーションから実世界への分布シフトに対するポリシーのロバスト性を向上させた。
• 訓練済みポリシーを微調整や再学習を一切行わずに、UDSSCテストベッドに直接転送した。
• ランプメーター制御行動の一貫性および平均移動時間や最大移動時間などの指標に基づいて、ポリシーの性能を評価した。
• 動画と定性的分析を用いて、実世界環境における転送されたポリシーの行動の忠実度を評価した。

実験結果

リサーチクエスチョン

• RQ1 状態空間および行動空間へのノイズ注入が、シミュレーションから実世界交通制御へのゼロショットポリシー転送を改善するか？
• RQ2 シミュレーションで学習した深層強化学習ポリシーが、微調整なしに実世界のスケールドシティ環境で自律走行車両を効果的に制御できるか？
• RQ3 ノイズを注入したポリシーが、実世界テストにおける交通効率指標（平均移動時間および最大移動時間）に与える影響は何か？
• RQ4 ノイズの欠如が、実世界への転送における、自発的に出現するランプメーター制御行動の一貫性と信頼性に与える影響は何か？
• RQ5 ノイズ注入が、低次元の制御タスクにおけるシミュレーションから実世界へのギャップを埋めるドメインランダマイゼーションをどの程度促進するか？

主な発見

• ノイズを注入したポリシーはUDSSCに成功裏に転送され、一貫して妥当なランプメーター制御行動を示したが、ノイズなしポリシーは一貫した再現に失敗した。
• ノイズを注入したポリシーは、実世界のテストベッドで平均移動時を5%削減し、最大移動時を22%削減した。
• ノイズなしポリシーは平均移動時を改善せず、最大移動時も14%しか短縮しなかったため、転送性能が著しく劣っていた。
• ノイズを注入したポリシーは、摩擦、遅延、質量の不一致といった実世界のダイナミクスに対してもロバストであることが示され、モデルの不確実性を補う能力を学習している可能性がある。
• ノイズの追加により、シミュレーションにおける有効な状態空間が拡張され、実世界の状態分布と重なりが増し、成功したドメインランダマイゼーションが可能になった。
• 結果から、低次元で視覚ベースでないロボット制御タスクにおいて、わずかな量の状態空間および行動空間のノイズが、効果的なゼロショットポリシー転送を可能にすることが示唆された。