[論文レビュー] DeepTraffic: Driving Fast through Dense Traffic with Deep Reinforcement Learning.

Lex Fridman, Benedikt Jenik+1 more|arXiv (Cornell University)|Jan 9, 2018

Traffic control and management被引用数 19

ひとこと要約

DeepTrafficは、自律走行のためのエンド・ツー・エンドのディープ強化学習を可能にするマイクロ交通シミュレーションを導入した。ここでは、1つのニューラルネットワークがセンシング、制御、計画を統合して処理する。本システムは大規模なオープンコンペティションを活用し、数千件の提出から得られる集団的ハイパーパramータ最適化により、顕著な性能向上を達成した。

ABSTRACT

We present a micro-traffic simulation (named DeepTraffic) where the perception, control, and planning systems for one of the cars are all handled by a single neural network as part of a model-free, off-policy reinforcement learning process. The primary goal of DeepTraffic is to make the hands-on study of deep reinforcement learning accessible to thousands of students, educators, and researchers in order to inspire and fuel the exploration and evaluation of DQN variants and hyperparameter configurations through large-scale, open competition. This paper investigates the crowd-sourced hyperparameter tuning of the policy network that resulted from the first iteration of the DeepTraffic competition where thousands of participants actively searched through the hyperparameter space with the objective of their neural network submission to make it onto the top-10 leaderboard.

研究の動機と目的

• 自律走行におけるディープ強化学習の研究を可能にする、アクセス可能でスケーラブルなマイクロ交通シミュレーションの構築を目的とする。
• 何千人もの学生、教育者、研究者がDQNの変種およびハイパーパramータ設定を実験できる環境を提供することを目的とする。
• 集団的ハイパーパramータチューニングが、ディープ強化学習ポリシーの性能向上にどの程度有効であるかを調査することを目的とする。
• ディープ強化学習手法の評価と発展を促進する大規模でオープンなコンペティションの模範を提示することを目的とする。

提案手法

• 独自に開発したマイクロ交通シミュレーション環境（DeepTraffic）に、モデルフリーでオフポリシーなディープ強化学習フレームワークを実装した。
• 1つのディープニューラルネットワークが生の観測値を処理し、直接行動を出力することで、エンド・ツー・エンドの学習を実現した。
• 本システムは、現実的なダイナミクスを持つ濃厚な交通環境において、DQNベースのエージェントの学習と評価を可能にした。
• ハイパーパラメータチューニングは、数千人の参加者が関与する大規模なオープンコンペティションを通じて実施された。
• コンペティションにより、多様な設定におけるハイパーパラメータ空間の体系的探索が可能になった。
• 性能評価は、累積報酬と成功度の指標に基づき、上位のエージェントをランク付けするリーダーボードを用いて実施された。

実験結果

リサーチクエスチョン

• RQ1 複雑な交通環境において、集団的ハイパーパラメータチューニングは、ディープ強化学習ポリシーの性能向上にどの程度有効であるか？
• RQ2 エンド・ツー・エンドのディープ強化学習による自律走行において、最高のパフォーマンスを発揮するハイパーパラメータ設定は何か？
• RQ3 ハイパーパラメータ空間の集団的探索は、個別的またはヒューリスティックなチューニング手法と比較して、どのように異なるか？
• RQ4 数千件の提出から得られる成功したハイパーパラメータの分布を分析することで、どのようなインサイトが得られるか？

主な発見

• 最良のパフォーマンスを示したエージェントは、ベースラインのDQN設定と比較して顕著に高い累積報酬を達成しており、大規模なハイパーパラメータ探索の価値を示している。
• 多様なハイパーパラメータ設定が高パフォーマンスをもたらしており、タスクにおける成功への道筋が複数存在することを示している。
• コンペティションを通じて、特に学習率と経験リプレイバッファサイズの組み合わせが最終的なパフォーマンスに強く影響することが明らかになった。
• 数千人の参加者の協働的取り組みにより、標準的なDQN設定を上回る、非自明な高パフォーマンスなハイパーパラメータ設定が同定された。