[論文レビュー] Flow: Architecture and Benchmarking for Reinforcement Learning in Traffic Control.

Cathy Wu, Aboudy Kreidieh+3 more|arXiv (Cornell University)|Oct 16, 2017

Traffic control and management被引用数 155

ひとこと要約

Flow は、SUMO と rllab を統合した深層強化学習フレームワークであり、混合自律環境における学習済み制御と古典的制御のベンチマークを可能にする。本研究では、単純なニューラルネットワーク方策が多様な密度において環状道路の交通を安定化でき、分布外にまで一般化できることを示し、一般化性能において最先端の手作業で設計された制御を上回ることを実証した。

ABSTRACT

Flow is a new computational framework, built to support a key need triggered by the rapid growth of autonomy in ground traffic: controllers for autonomous vehicles in the presence of complex nonlinear dynamics in traffic. Leveraging recent advances in deep Reinforcement Learning (RL), Flow enables the use of RL methods such as policy gradient for traffic control and enables benchmarking the performance of classical (including hand-designed) controllers with learned policies (control laws). Flow integrates traffic microsimulator SUMO with deep reinforcement learning library rllab and enables the easy design of traffic tasks, including different networks configurations and vehicle dynamics. We use Flow to develop reliable controllers for complex problems, such as controlling mixed-autonomy traffic (involving both autonomous and human-driven vehicles) in a ring road. For this, we first show that state-of-the-art hand-designed controllers excel when in-distribution, but fail to generalize; then, we show that even simple neural network policies can solve the stabilization task across density settings and generalize to out-of-distribution settings.

研究の動機と目的

• 自動運転車と人間運転車が混在する環境におけるスケーラブルで適応的な交通制御の増大するニーズに対応する。
• 現実的な交通シナリオにおいて、深層強化学習方策と古典的で手作業で設計された制御のベンチマークを可能にする。
• 多様な交通ネットワーク構成、車両動力学、タスク定義をサポートする柔軟なフレームワークを設計する。
• 学習済み方策の、異なる交通密度や分布外条件における一般化能力を調査する。
• 従来の制御が分布シフト下で失敗する状況でも、学習済み方策が複雑な交通ダイナミクスを安定化できることを実証する。

提案手法

• 交通マイクロシミュレータである SUMO と深層強化学習ライブラリ rllab を統合し、一元的な学習および評価環境を構築する。
• SUMO 内でモジュラーなネットワーク構成とカスタマイズ可能な車両動力学を用いて、交通制御タスクを定義する。
• ポリシー勾配に基づく強化学習アルゴリズムを実装し、交通信号制御および車両制御のためのニューラルネットワーク方策を学習する。
• さまざまな車両密度下での制御性能評価のため、混合自律性を持つ環状道路シナリオをコアベンチマークとして用いる。
• 連続制御定式化を用いてエンドツーエンドで方策を訓練し、交通安定性の目的関数を直接最適化可能にする。
• 分布内および分布外の交通状態下で、学習済み方策と古典的制御を評価し、耐障害性および一般化性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習方策は、さまざまな交通密度下における混合自律性環状道路の交通を安定化できるか？
• RQ2 性能および密度設定における一般化性能の観点から、学習済み方策は最先端の手作業で設計された制御と比べてどのように異なるか？
• RQ3 古典的制御が失敗する分布外の交通状態において、学習済み方策は一般化できるか？
• RQ4 ネットワーク構成および車両動力学は、方策学習および制御安定性にどのような影響を与えるか？
• RQ5 洗練されたアーキテクチャ設計を伴わずに、単純なニューラルネットワークアーキテクチャが、頑健な交通安定化を達成できるか？

主な発見

• 最先端の手作業で設計された制御は、分布内条件下では良好に機能するが、訓練範囲外の交通密度にシフトすると一般化に失敗する。
• 深層強化学習で学習された単純なニューラルネットワーク方策は、広範な密度範囲において混合自律性交通を安定化させることに成功した。
• 学習済み方策は分布外設定に対しても効果的に一般化され、古典的制御が破綻する状況でも安定性を維持した。
• Flow フレームワークにより、学習済みおよび古典的制御の両方を一元的かつスケーラブルな環境で信頼性高く訓練および評価できるようになった。
• SUMO と rllab の統合により、多様な交通シナリオと制御目的での効率的な実験が可能になった。
• Flow におけるポリシー勾配法は、非線形ダイナミクスと混合自律性を含む現実世界の交通制御問題において実用的であることが示された。