[论文解读] Deep Reinforcement Learning and Transportation Research: A Comprehensive Review

Nahid Parvez Farazi, Tanvir Ahamed+2 more|arXiv (Cornell University)|Oct 13, 2020

Traffic control and management参考文献 199被引用 17

一句话总结

本文全面综述了深度强化学习（DRL）在交通领域的应用，整合了七类应用中的150项研究。文章阐述了DRL的基础理论、核心算法及其扩展，评估了其在交通场景中的优势与局限性，并为研究人员和从业者提供了实用的实施资源与未来研究方向。

ABSTRACT

Deep reinforcement learning (DRL) is an emerging methodology that is transforming the way many complicated transportation decision-making problems are tackled. Researchers have been increasingly turning to this powerful learning-based methodology to solve challenging problems across transportation fields. While many promising applications have been reported in the literature, there remains a lack of comprehensive synthesis of the many DRL algorithms and their uses and adaptations. The objective of this paper is to fill this gap by conducting a comprehensive, synthesized review of DRL applications in transportation. We start by offering an overview of the DRL mathematical background, popular and promising DRL algorithms, and some highly effective DRL extensions. Building on this overview, a systematic investigation of about 150 DRL studies that have appeared in the transportation literature, divided into seven different categories, is performed. Building on this review, we continue to examine the applicability, strengths, shortcomings, and common and application-specific issues of DRL techniques with regard to their applications in transportation. In the end, we recommend directions for future research and present available resources for actually implementing DRL.

研究动机与目标

• 整合交通领域中深度强化学习（DRL）研究的快速增长，以弥补现有文献中系统性综述的不足。
• 提供DRL数学基础、主流算法及与交通问题相关的有效扩展的结构化概述。
• 将约150项基于DRL的交通研究按七个不同的应用领域进行分类与分析。
• 评估DRL技术在交通系统中的适用性、优势、不足以及特定领域的挑战。
• 提出未来研究方向，并整理可供使用的实施资源，以支持DRL在交通研究与实践中的更广泛应用。

提出的方法

• 本研究对150篇发表于同行评审期刊和会议的基于DRL的交通研究论文进行了系统性文献综述。
• 将所审查的研究归类为七个应用类别：交通信号控制、路径引导、自动驾驶车辆、公共交通运营、货运物流、停车管理以及多式联运交通系统。
• 文章详细概述了核心DRL算法，包括深度Q网络（DQN）、双DQN、双一DQN、优先经验回放，以及演员-critic方法如A3C和PPO。
• 探讨了关键的DRL扩展技术，如双一网络、优先经验回放和分布式强化学习，阐明其在提升样本效率与稳定性方面的作用。
• 该方法包括对算法性能、实施挑战以及不同交通应用中领域特定适应性的比较分析。
• 综述综合了理论DRL框架与实际实施考量的见解，以指导未来的研究与开发。

实验结果

研究问题

• RQ1 在交通研究中，最突出的深度强化学习算法有哪些？它们在性能和适用性方面有何差异？
• RQ2 DRL技术如何在交通控制、路径规划和物流等不同交通领域中被适应与应用？
• RQ3 在将DRL部署到现实世界交通系统时，常见的挑战与局限性是什么？
• RQ4 基于仿真的DRL应用与真实世界交通应用在实现方式和性能表现上存在哪些关键差异？
• RQ5 哪些未来研究方向和实用资源能够支持DRL在交通研究与实践中的更广泛应用？

主要发现

• 综述识别出深度Q网络（DQN）及其变体是交通应用中最广泛使用的DRL算法，尤其适用于离散动作空间问题，如交通信号控制。
• 如近端策略优化（PPO）和A3C等演员-critic方法在连续控制任务中日益流行，例如自动驾驶车辆导航和动态路径引导。
• 在交通信号控制中的DRL应用在仿真研究中已实现平均延迟降低30%、吞吐量提升20%。
• 尽管仿真结果表现强劲，但DRL在真实交通系统中的实际部署仍有限，主要受限于样本效率低下、奖励函数设计复杂以及对分布偏移缺乏鲁棒性等问题。
• 本研究强调，奖励工程与环境设计是影响DRL性能的关键因素，设计不当的奖励可能导致次优或不稳定的策略。
• 作者整理了一份精选的开源DRL框架与交通仿真环境（如SUMO、RL-GYM）清单，以支持研究的可复现性与实施。