[论文解读] Intervention Aided Reinforcement Learning for Safe and Practical Policy Optimization in Navigation

Fan Wang, Bo Zhou+6 more|arXiv (Cornell University)|Nov 15, 2018

Reinforcement Learning in Robotics参考文献 24被引用 7

一句话总结

本文提出干预辅助强化学习（IARL）框架，通过将模仿学习与策略优化相结合，并利用人类干预作为反馈，减少了无人机导航中的人员干预并提升了安全性。该方法在仿真和真实环境中均能学习到鲁棒且无碰撞的策略，在仿真中实现近乎零碰撞和低于1%的干预率，同时在真实世界测试中显著降低了干预频率。

ABSTRACT

Combining deep neural networks with reinforcement learning has shown great potential in the next-generation intelligent control. However, there are challenges in terms of safety and cost in practical applications. In this paper, we propose the Intervention Aided Reinforcement Learning (IARL) framework, which utilizes human intervened robot-environment interaction to improve the policy. We used the Unmanned Aerial Vehicle (UAV) as the test platform. We built neural networks as our policy to map sensor readings to control signals on the UAV. Our experiment scenarios cover both simulation and reality. We show that our approach substantially reduces the human intervention and improves the performance in autonomous navigation, at the same time it ensures safety and keeps training cost acceptable.

研究动机与目标

• 为解决机器人强化学习在真实世界应用中的安全问题与高昂训练成本，特别是在无人机导航等高风险场景中。
• 通过将人类干预作为反馈而非依赖碰撞等失败事件，减少对昂贵且危险的试错学习的依赖。
• 开发一种可泛化的框架，结合模仿学习与策略优化，利用干预数据进行学习。
• 利用多模态传感器输入，实现端到端、无需地图的视觉导航，适用于非结构化环境。
• 通过最小化人类干预，在保持高性能的同时确保训练的安全性与实用性。

提出的方法

• IARL将人类干预建模为两部分：一个分类器用于判断何时应干预，一个参考控制策略用于提供引导。
• 行为策略被定义为目标策略与干预策略的混合，以实现安全探索。
• 该框架通过模仿参考策略进行学习，同时优化策略以最小化干预概率。
• 采用多模态观测输入，包括三维深度图像、超声波传感器、速度和目标方向，以支持控制决策。
• 以近端策略优化（PPO）结合广义优势估计（GAE）作为基础强化学习算法。
• 该方法在仿真环境中进行训练，并在部署到真实无人机前，使用真实世界专家演示进行微调。

实验结果

研究问题

• RQ1 在强化学习训练过程中，能否将人类干预作为安全且有效的反馈信号，而非依赖碰撞等失败事件？
• RQ2 如何将模仿学习与强化学习结合，以在保持高导航性能的同时降低干预频率？
• RQ3 IARL在最小人类监督下，能在非结构化真实环境中实现多大程度的无碰撞导航？
• RQ4 与标准强化学习和模仿学习方法相比，IARL在安全性、泛化能力与训练效率方面表现如何？
• RQ5 IARL框架能否在仅使用少量真实世界数据的情况下，有效从仿真迁移至真实世界无人机导航？

主要发现

• 在仿真中，IARL(Imitation)在正常测试中实现了0%的平均碰撞率，显著优于RL（22.5%）和DAgger（24%）。
• 仿真中的干预率（IR）低于1%，表明对人类干预的依赖极低。
• 在真实世界测试中，干预率随时间下降，表明模型在存在传感器噪声和延迟的情况下仍能学习到更安全的策略。
• 真实世界训练过程中，平均通过时间与干预时间均呈下降趋势，表明效率提升且人类工作负荷减少。
• IARL学习到保守且安全的轨迹，比标准RL更有效地避开障碍物，后者则采取了更具风险的路径。
• 即使在传感器噪声较大且延迟高达0.4秒的情况下，IARL仍保持低干预频率，并实现了稳定安全的导航。