[论文解读] DeepTraffic: Driving Fast through Dense Traffic with Deep Reinforcement Learning.

Lex Fridman, Benedikt Jenik+1 more|arXiv (Cornell University)|Jan 9, 2018

Traffic control and management被引用 19

一句话总结

DeepTraffic 引入了一种微观交通仿真，实现了自动驾驶领域的端到端深度强化学习，其中单一神经网络同时处理感知、控制与规划。该系统通过大规模、开放的竞赛形式，汇聚众智进行超参数调优，实现了跨数千份提交的集体超参数优化，显著提升了性能。

ABSTRACT

We present a micro-traffic simulation (named DeepTraffic) where the perception, control, and planning systems for one of the cars are all handled by a single neural network as part of a model-free, off-policy reinforcement learning process. The primary goal of DeepTraffic is to make the hands-on study of deep reinforcement learning accessible to thousands of students, educators, and researchers in order to inspire and fuel the exploration and evaluation of DQN variants and hyperparameter configurations through large-scale, open competition. This paper investigates the crowd-sourced hyperparameter tuning of the policy network that resulted from the first iteration of the DeepTraffic competition where thousands of participants actively searched through the hyperparameter space with the objective of their neural network submission to make it onto the top-10 leaderboard.

研究动机与目标

• 创建一个可访问、可扩展的微观交通仿真环境，用于研究自动驾驶中的深度强化学习。
• 使数千名学生、教育工作者和研究人员能够实验 DQN 变体及超参数配置。
• 探究众包超参数调优在提升深度强化学习策略性能方面的有效性。
• 激发大规模、开放竞赛，以评估和推进深度强化学习方法的发展。

提出的方法

• 在自定义的微观交通仿真环境（DeepTraffic）中实现了一种无模型、离策略的深度强化学习框架。
• 单一深度神经网络处理原始观测输入，直接输出动作，实现端到端学习。
• 系统支持在具有真实动态特性的密集交通环境中，对基于 DQN 的智能体进行训练与评估。
• 通过大规模、开放的竞赛形式进行超参数调优。
• 竞赛支持对多样化配置下的超参数空间进行系统性探索。
• 性能通过排行榜进行评估，根据累积奖励和成功率指标对表现最佳的智能体进行排名。

实验结果

研究问题

• RQ1 在复杂交通环境中，众包超参数调优在提升深度强化学习策略性能方面有多有效？
• RQ2 哪些超参数配置在自动驾驶的端到端深度强化学习任务中表现最佳？
• RQ3 与个体或启发式调优方法相比，超参数空间的集体探索方式有何差异？
• RQ4 通过对数千份提交的成功超参数分布进行分析，可以得出哪些有价值的洞见？

主要发现

• 表现最佳的智能体相比基线 DQN 配置获得了显著更高的累积奖励，证明了大规模超参数搜索的价值。
• 多种多样的超参数配置均能带来高性能，表明该任务存在多种可行的成功路径。
• 竞赛揭示了某些超参数组合——尤其是学习率和经验回放缓冲区大小——对最终性能具有显著影响。
• 数千名参与者的集体努力发现了非显而易见的高性能配置，其表现优于标准 DQN 设置。