[論文レビュー] Flow: A Modular Learning Framework for Autonomy in Traffic

Cathy Wu, Aboudy Kreidieh+3 more|arXiv (Cornell University)|Oct 16, 2017

Traffic control and management参考文献 115被引用数 56

ひとこと要約

本稿では、学習可能な制御則を通じて複雑な交通動態をモデル化するモジュラーな深層強化学習フレームワークFlowを提案する。このフレームワークは、わずか5–10％のAV採用率でも人間ドライバーを40％以上上回る優れた性能を達成し、単一レーン環境ではストップアンドゴー交通を排除する。小さなニューラルネットワークを用いて、交通密度の変化に一般化可能な制御が可能である。

ABSTRACT

The rapid development of autonomous vehicles (AVs) holds vast potential for transportation systems through improved safety, efficiency, and access to mobility. However, due to numerous technical, political, and human factors challenges, new methodologies are needed to design vehicles and transportation systems for these positive outcomes. This article tackles technical challenges arising from the partial adoption of autonomy: partial control, partial observation, complex multi-vehicle interactions, and the sheer variety of traffic settings represented by real-world networks. The article presents a modular learning framework which leverages deep Reinforcement Learning methods to address complex traffic dynamics. Modules are composed to capture common traffic phenomena (traffic jams, lane changing, intersections). Learned control laws are found to exceed human driving performance by at least 40% with only 5-10% adoption of AVs. In partially-observed single-lane traffic, a small neural network control law can eliminate stop-and-go traffic -- surpassing all known model-based controllers, achieving near-optimal performance, and generalizing to out-of-distribution traffic densities.

研究の動機と目的

• 部分的自動運転における技術的課題、すなわち部分的制御、部分的観測、および複雑な複数車両相互作用に対処すること。
• 混雑、レーン変更、交差点などの一般的な交通現象を捉えるスケーラブルでモジュラーな学習フレームワークを設計すること。
• 多様な交通状況に一般化可能な制御則を開発し、既存のモデルベース制御器を上回ること。
• インfraストラクチャ制限や観測制限がある現実的で部分的採用のAVシナリオにおける性能を評価すること。

提案手法

• フレームワークは、レーン変更や交差点管理といった特定の交通現象を対象としたモジュラー制御則を、深層強化学習で学習する。
• 各モジュールはエンドツーエンド学習により制御ポリシーを学習し、動的でマルチエージェントの交通環境に適応可能である。
• モジュールの合成を可能とするアーキテクチャにより、複雑な交通シナリオのモデル化が可能となり、スケーラビリティとモularityが向上する。
• 単一レーン交通制御には小さなニューラルネットワークを用い、最小限の計算負荷で近似的最適性能を達成する。
• 実世界の交通ネットワークの多様性やAV浸透率の変動を反映したシミュレーション環境でフレームワークを訓練する。
• 分布外の交通密度に対して一般化性能を評価し、再訓練なしで高いロバストネスを示す。

実験結果

リサーチクエスチョン

• RQ1 モジュラーな深層強化学習フレームワークは、部分的自動運転環境における複雑な交通動態を効果的にモデル化・制御できるか？
• RQ2 混在交通環境下で、学習された制御則の性能は人間ドライバーおよび既知のモデルベース制御器と比べてどの程度か？
• RQ3 部分的AV採用下の単一レーン環境で、小さなニューラルネットワークがストップアンドゴー交通をどの程度効果的に排除できるか？
• RQ4 学習された制御則は、トレーニング分布外の交通密度に対してもどの程度一般化できるか？
• RQ5 フレームワークが人間運転車両の交通に対して顕著な性能向上を達成するためには、どの程度のAV採用率が必要か？

主な発見

• Flowフレームワークは、わずか5–10％のAV採用率でも、混在交通環境下で人間ドライバーを40％以上上回る性能を達成する。
• 部分的観測下の単一レーン交通では、小さなニューラルネットワーク制御則がストップアンドゴー交通パターンを効果的に排除する。
• 学習されたコントローラは、すべての既知のモデルベース制御器を上回り、ストップアンドゴー緩和において近似的最適性能を達成する。
• 再訓練なしで、分布外の交通密度に対しても制御則の一般化が効果的に実現される。
• モジュラー設計により、レーン変更や交差点などの複雑な現象の制御則の有効な合成が可能になる。