[论文解读] DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation

Lex Fridman, Jack Terwilliger+1 more|arXiv (Cornell University)|Jan 9, 2018

Reinforcement Learning in Robotics参考文献 28被引用 38

一句话总结

本文介绍了DeepTraffic，一项面向多智能体交通导航的众包深度强化学习竞赛，数千名参与者在模拟的城市环境中调优DQN智能体的超参数。主要贡献在于对有效超参数配置的实证洞察——特别是大网络规模、最小时间上下文和高未来折扣率——显著提升了智能体的性能与稳定性。

ABSTRACT

We present a traffic simulation named DeepTraffic where the planning systems for a subset of the vehicles are handled by a neural network as part of a model-free, off-policy reinforcement learning process. The primary goal of DeepTraffic is to make the hands-on study of deep reinforcement learning accessible to thousands of students, educators, and researchers in order to inspire and fuel the exploration and evaluation of deep Q-learning network variants and hyperparameter configurations through large-scale, open competition. This paper investigates the crowd-sourced hyperparameter tuning of the policy network that resulted from the first iteration of the DeepTraffic competition where thousands of participants actively searched through the hyperparameter space.

研究动机与目标

• 创建一个可访问的、大规模的平台，通过真实世界的交通模拟来教学和研究深度强化学习。
• 研究非专家用户群体在复杂、黑箱的深度强化学习系统中如何探索和优化超参数。
• 研究自动驾驶车辆在结合人工驾驶与AI控制智能体的异构交通环境中的影响。
• 识别能提升密集动态交通中智能体性能与系统级交通稳定性的有效超参数配置。

提出的方法

• DeepTraffic模拟器再现了一个包含13,000多个智能体的密集多车道城市交通环境，其中部分智能体由基于DQN的策略网络控制。
• 参与者通过在线平台提交神经网络架构和超参数，训练与评估在浏览器中使用无模型、异策略DQN框架完成。
• 状态空间定义为智能体周围的栅格占用网格，捕捉前方、后方和侧方的车辆，动作包括变道和速度调节。
• 性能基于平均速度评估，由于随机性和大状态空间，需1000万次模拟步骤才能稳定得分估计。
• 超参数空间包括网络深度、宽度、时间上下文（过去状态数量）、空间视场（前后/侧向可视范围）和奖励折扣率（gamma）。
• 使用统计与可视化技术分析众包提交结果，以识别超参数配置与性能结果之间的趋势。

实验结果

研究问题

• RQ1 非专家用户群体在复杂交通环境中如何探索深度强化学习智能体的超参数空间？
• RQ2 哪些超参数配置——如网络深度、时间上下文和空间视场——在密集交通导航中产生最高性能的智能体？
• RQ3 引入过去时间状态在多大程度上提升了智能体性能？在此环境中，未来是否比过去更重要？
• RQ4 在具有随机性与高维状态空间的环境中，需要多少次模拟步骤才能实现DRL智能体性能的稳定可靠评估？
• RQ5 奖励折扣率（gamma）对多智能体交通系统中长期规划与平均速度有何影响？

主要发现

• 更大更深的神经网络始终优于较小网络，表现最佳的智能体具有显著更多的参数，尽管超过某一规模后收益递减。
• 收敛所需的训练迭代次数随网络规模增加而上升，表明更大模型的计算成本更高。
• 回顾过去时间状态（时间上下文）几乎未带来性能提升；事实上，完全不使用过去状态的智能体得分最高，表明时间动态对决策并非关键。
• 对前方空间的可视范围对性能有显著正面影响，当前方可见5个区域后性能趋于平稳；侧向可视范围在每侧3个车道时达到峰值。
• 高未来折扣率（gamma）始终提升性能，表明长期规划与奖励预期对实现高平均速度至关重要。
• 评估至少需要1000万次模拟步骤（100次评估运行）才能稳定性能估计，标准差低于0.1，凸显大规模环境中DRL评估的计算成本与不稳定性。