[论文解读] Learning Navigation Behaviors End to End.

Hao-Tien Lewis Chiang, Aleksandra Faust+2 more|arXiv (Cornell University)|Sep 26, 2018

Robotic Path Planning Algorithms参考文献 25被引用 14

一句话总结

该论文提出了一种基于AutoRL（一种联合优化奖励函数与神经网络架构的进化强化学习框架）的端到端点对点及路径跟踪导航策略学习方法。所得到的策略能够泛化到新环境和移动障碍物场景，在成功率上比基线方法分别提升23%和26%，且在存在传感器和执行器噪声的情况下仍保持鲁棒性，无灾难性遗忘现象。

ABSTRACT

We learn end-to-end point-to-point and path-following navigation behaviors that avoid moving obstacles. These policies receive noisy lidar observations and output robot linear and angular velocities. The policies are trained in small, static environments with AutoRL, an evolutionary automation layer around Reinforcement Learning (RL) that searches for a deep RL reward and neural network architecture with large-scale hyper-parameter optimization. AutoRL first finds a reward that maximizes task completion, and then finds a neural network architecture that maximizes the cumulative of the found reward. Empirical evaluations, both in simulation and on-robot, show that AutoRL policies do not suffer from the catastrophic forgetfulness that plagues many other deep reinforcement learning algorithms, generalize to new environments and moving obstacles, are robust to sensor, actuator, and localization noise, and can serve as robust building blocks for larger navigation tasks. Our path-following and point-to-point policies are respectively 23% and 26% more successful than comparison methods across new environments. Video at: this https URL

研究动机与目标

• 开发能够利用噪声LiDAR输入可靠规避移动障碍物的端到端导航策略。
• 通过在多样化环境中实现稳定策略训练，解决深度强化学习中的灾难性遗忘问题。
• 在静态训练环境之外，提升对未见环境和动态障碍物的泛化能力。
• 在真实世界传感器和执行器噪声条件下，构建适用于更复杂机器人任务的鲁棒导航基础模块。

提出的方法

• 采用AutoRL，一种在深度强化学习上进行大规模超参数优化的进化自动化层。
• 使用AutoRL首先搜索在静态环境中最大化任务完成度的奖励函数。
• 然后使用AutoRL识别在所找到奖励函数下能最大化累积回报的神经网络架构。
• 使用带有噪声LiDAR观测的端到端方式训练策略，并输出用于机器人控制的线速度和角速度。
• 在仿真环境和真实机器人部署中评估策略的鲁棒性和泛化能力。
• 将同一套训练好的策略应用于新环境和动态障碍物场景，以测试其迁移能力。

实验结果

研究问题

• RQ1 通过AutoRL训练的端到端导航策略是否能在无需微调的情况下泛化到新未见环境中？
• RQ2 AutoRL在导航任务的深度强化学习中如何缓解灾难性遗忘？
• RQ3 所学习的策略在传感器、执行器和定位噪声下能保持多大程度的鲁棒性？
• RQ4 与基线方法相比，这些策略在具有移动障碍物的动态环境中表现如何？
• RQ5 这些策略能否作为更高阶导航任务组合中的可靠组件？

主要发现

• 在路径跟踪任务中，AutoRL训练的策略在新环境中的成功率比对比方法高出23%。
• 在点对点导航任务中，AutoRL训练的策略在新环境中的成功率比基线方法高出26%。
• 策略在传感器、执行器和定位噪声下表现出鲁棒性，性能未出现下降。
• 策略未表现出灾难性遗忘，在多样化训练与评估设置中均保持了性能。
• 与竞争方法相比，策略在动态障碍物和未见环境中的泛化能力显著更强。
• 真实机器人评估验证了策略在实际部署中的可行性与稳定性。