[论文解读] Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks

Sahand Sharifzadeh, Ioannis Chiotellis+2 more|arXiv (Cornell University)|Dec 12, 2016

Reinforcement Learning in Robotics参考文献 13被引用 70

一句话总结

本文提出了一种新颖的逆强化学习（IRL）框架，将深度Q网络（DQN）集成以在高维状态空间（如自动驾驶）中提取奖励函数。通过将基于投影的IRL与DQN结合用于价值函数近似，该方法从专家示范中学习类人、无碰撞的驾驶行为，在仿真中实现了精确的奖励函数恢复和接近专家的性能。

ABSTRACT

We propose an inverse reinforcement learning (IRL) approach using Deep Q-Networks to extract the rewards in problems with large state spaces. We evaluate the performance of this approach in a simulation-based autonomous driving scenario. Our results resemble the intuitive relation between the reward function and readings of distance sensors mounted at different poses on the car. We also show that, after a few learning rounds, our simulated agent generates collision-free motions and performs human-like lane change behaviour.

研究动机与目标

• 解决自动驾驶中常见的高维状态空间下的奖励函数学习挑战。
• 通过利用深度Q网络实现稳定的价值函数近似，将逆强化学习扩展到大规模MDP。
• 实现从专家驾驶示范中提取可解释的、具有行为意义的奖励函数。
• 评估所学习的奖励函数是否能在仿真中生成无碰撞、类人的驾驶策略。
• 验证该方法恢复的奖励函数是否与驾驶中的直观安全性和舒适性度量一致。

提出的方法

• 采用基于投影的IRL方法，从专家示范中迭代优化奖励函数。
• 使用深度Q网络（DQN）在大规模状态空间中近似Q值函数，克服传统表格型Q学习的局限性。
• 在IRL优化循环中应用经验回放和目标网络更新，以稳定DQN的训练。
• 将传感器读数离散化为二值特征，以建模非线性奖励依赖关系，提升权重学习的准确性。
• 通过比较专家与智能体行为的特征期望值来评估奖励质量。
• 使用提取的奖励函数训练DQN，并通过碰撞避免、车道保持和急动量最小化来评估策略性能。

实验结果

研究问题

• RQ1 深度Q网络能否在自动驾驶等大规模状态空间问题的逆强化学习中有效替代表格型Q学习？
• RQ2 所提出的IRL-DQN框架是否能恢复出导致类人驾驶行为（包括安全变道和障碍物避让）的奖励函数？
• RQ3 提取的奖励权重与直观的驾驶安全性度量（如与障碍物的距离和车道位置）的相关性如何？
• RQ4 在特征期望值和运动规划质量方面，智能体的行为在多大程度上与专家示范相匹配？
• RQ5 该方法是否能泛化到未见过的场景，而无需大量重新训练或人工设计的奖励塑造？

主要发现

• 提取的奖励权重与传感器读数之间表现出非线性且直观的关系，表明模型已学习到有意义的安全性和舒适性度量。
• 传感器6（侧向朝向）在最小距离时获得最高权重，反映出专家偏好靠近车道内壁而非在车道间漂移。
• 智能体在所有测试场景中均实现了100%的障碍物避让，并在必要操作外保持了车道位置。
• 智能体运动的急动量值接近专家水平，表明其行驶平稳、舒适。
• 经过六轮IRL迭代，每轮包含3000步内部DQN训练后，智能体在大多数情况下与专家的特征期望差异低于0.2，最大偏差为0.209。
• 可视化结果表明运动规划逐步改善：早期迭代中路径杂乱，后期则呈现出稳定、类人的变道和障碍物避让行为。