[论文解读] Meta learning Framework for Automated Driving

Ahmad El Sallab, Mahmoud S. R. Saeed+2 more|arXiv (Cornell University)|Jun 11, 2017

Reinforcement Learning in Robotics参考文献 19被引用 8

一句话总结

该论文提出 MetaDAgger，一种元学习框架，通过提升在未见环境中的泛化能力，增强自动驾驶的模仿学习。通过训练元学习器以捕捉多个赛道中的通用驾驶特征，同时让低层次学习器针对每个环境进行专业化学习，MetaDAgger 实现了更优的样本效率和更快的学习速度——仅经过一次数据聚合迭代，即可完成 80% 的赛道，优于 DAgger 在训练和未见测试赛道上的表现。

ABSTRACT

The success of automated driving deployment is highly depending on the ability to develop an efficient and safe driving policy. The problem is well formulated under the framework of optimal control as a cost optimization problem. Model based solutions using traditional planning are efficient, but require the knowledge of the environment model. On the other hand, model free solutions suffer sample inefficiency and require too many interactions with the environment, which is infeasible in practice. Methods under the Reinforcement Learning framework usually require the notion of a reward function, which is not available in the real world. Imitation learning helps in improving sample efficiency by introducing prior knowledge obtained from the demonstrated behavior, on the risk of exact behavior cloning without generalizing to unseen environments. In this paper we propose a Meta learning framework, based on data set aggregation, to improve generalization of imitation learning algorithms. Under the proposed framework, we propose MetaDAgger, a novel algorithm which tackles the generalization issues in traditional imitation learning. We use The Open Race Car Simulator (TORCS) to test our algorithm. Results on unseen test tracks show significant improvement over traditional imitation learning algorithms, improving the learning time and sample efficiency in the same time. The results are also supported by visualization of the learnt features to prove generalization of the captured details.

研究动机与目标

• 解决自动驾驶模仿学习中的泛化差距问题，即模型在未见环境中失效的问题。
• 提升策略学习的样本效率，减少有效训练所需的环境交互次数。
• 通过降低对奖励函数的依赖并减少不安全交互带来的风险，实现真实世界部署。
• 开发一种元学习框架，以捕捉多样化环境中的通用驾驶特征。
• 验证所学特征是否具有任务相关性（例如车道线位置），而非环境特异性（例如地形或地平线细节）。

提出的方法

• 该框架将学习过程划分为元学习器和低层次学习器，其中元学习器捕捉跨环境的通用特征，而低层次学习器则针对每个环境进行专业化学习。
• 采用类似 DAgger 的迭代式数据聚合方法，即低层次智能体的错误由人类或专家纠正，并反馈给元学习器。
• 持续终身学习实现知识迁移：当切换环境时，低层次学习器会将新经验更新至元学习器。
• 元学习器和低层次学习器均使用相同的卷积神经网络结构，包含批归一化、Xavier 初始化、Dropout、ReLU 激活函数，以及用于回归的线性输出层。
• 损失函数采用均方误差（MSE），用于回归连续的转向动作。
• 通过 Grad-CAM 进行特征可视化，以分析并验证所学表征的泛化能力。

实验结果

研究问题

• RQ1 元学习能否提升自动驾驶中模仿学习在未见环境中的泛化能力？
• RQ2 与传统 DAgger 相比，所提出的 MetaDAgger 框架是否降低了样本复杂度？
• RQ3 MetaDAgger 所学特征是否更具任务相关性（如车道线位置），而非环境特异性（如地形或天空）？
• RQ4 元学习器能否在不过拟合训练数据的前提下，有效实现跨多样化驾驶赛道的知识迁移？
• RQ5 该框架是否能在未见测试赛道上实现更快收敛和更高性能？

主要发现

• MetaDAgger 仅经过一次数据聚合迭代，即完成 80% 的赛道，显著优于 DAgger 在早期学习阶段的表现。
• 在未见测试赛道上，MetaDAgger 在 0 或 1 次迭代后即完成大部分赛道，而 DAgger 需要多达 4 次迭代才能达到类似进度。
• Grad-CAM 可视化结果表明，MetaDAgger 学习到了任务相关特征（如车道线标记），而 DAgger 则聚焦于环境特异性线索（如山脉和地平线）。
• MetaDAgger 在泛化能力和样本效率方面表现更优，在所有测试赛道上均以更少的迭代次数完成更多赛道，优于 DAgger。
• 元学习器成功捕捉了跨环境的通用驾驶特征，表现为在多样化赛道上性能一致且特征可视化结果具有普适性。
• 该框架通过高效的数据收集与纠错机制，显著减少了不安全交互，展现出在真实世界部署中的强大潜力。