[论文解读] Deep Reinforcement Learning based Automatic Exploration for Navigation in Unknown Environment

Haoran Li, Qichao Zhang+1 more|arXiv (Cornell University)|Jul 23, 2020

Robotic Path Planning Algorithms被引用 12

一句话总结

本文提出了一种模块化的深度强化学习框架，用于在未知环境中实现机器人自动探索，以部分栅格地图作为输入，训练AFCQN智能体以平衡探索效率与地图完整性。与端到端DRL及传统基于前沿的方法相比，该方法在泛化能力和现实世界可迁移性方面表现更优，在物理实验中实现了863.82的探索效率，在仿真中达到986.95。

ABSTRACT

This paper investigates the automatic exploration problem under the unknown environment, which is the key point of applying the robotic system to some social tasks. The solution to this problem via stacking decision rules is impossible to cover various environments and sensor properties. Learning based control methods are adaptive for these scenarios. However, these methods are damaged by low learning efficiency and awkward transferability from simulation to reality. In this paper, we construct a general exploration framework via decomposing the exploration process into the decision, planning, and mapping modules, which increases the modularity of the robotic system. Based on this framework, we propose a deep reinforcement learning based decision algorithm which uses a deep neural network to learning exploration strategy from the partial map. The results show that this proposed algorithm has better learning efficiency and adaptability for unknown environments. In addition, we conduct the experiments on the physical robot, and the results suggest that the learned policy can be well transfered from simulation to the real robot.

研究动机与目标

• 解决传统基于规则的探索方法在不同环境和传感器配置下缺乏适应性的问题。
• 克服端到端深度强化学习在机器人探索中学习效率低且仿真到现实迁移性差的局限。
• 设计一种模块化框架，将建图、规划与决策分离，以提升系统模块化程度，并便于与现有导航算法集成。
• 开发一种基于DRL的决策智能体，利用部分地图和边缘分割作为辅助监督，以增强训练效率与泛化能力。
• 在仿真和真实物理机器人实验中验证所提方法，证明其具备有效的仿真到现实迁移能力。

提出的方法

• 该框架将探索分解为三个独立模块：建图（栅格地图构建）、规划（局部路径规划）和决策（DRL策略）。
• 使用部分栅格地图作为输入，训练深度Q网络（AFCQN），并引入边缘分割作为辅助任务，以提升特征表示能力和训练效率。
• DRL智能体学习选择能最大化地图覆盖范围并最小化冗余探索的动作，其奖励函数平衡了探索进度与地图完整性。
• 该方法采用基于栅格地图的离散动作空间，动作对应于向高不确定性区域或前沿区域移动的方向。
• 该框架支持与现有建图和规划算法集成，具备与真实世界运动学模型和传感器噪声的兼容性。
• 通过在仿真和真实实验中使用相似的激光雷达传感器，降低了现实差距，促进了仿真到现实的迁移。

实验结果

研究问题

• RQ1 与端到端学习相比，模块化的基于DRL的框架是否能在多样化未知环境中提升探索效率与泛化能力？
• RQ2 辅助边缘分割监督如何影响基于DRL的探索策略的训练效率与性能？
• RQ3 在无需微调的情况下，仿真中训练的策略在多大程度上可成功迁移到真实物理机器人上？
• RQ4 与传统的基于前沿的方法和标准DQN相比，所提出的AFCQN方法在探索区域覆盖率和路径效率方面表现如何？
• RQ5 该框架是否能在大规模未知环境中有效平衡探索效率与计算负担？

主要发现

• 所提出的AFCQN方法在真实实验中实现了863.82的探索效率，在仿真中达到986.95，优于DQN和FCQN在两种环境中的表现。
• 真实世界探索区域覆盖率为0.84（均值），标准差为0.0344，显著高于DQN的0.54，表明其具备更强的鲁棒性与可靠性。
• 仿真与真实实验中的探索轨迹表现出高度重叠，表明决策行为具有一致性，并成功实现了仿真到现实的迁移。
• 基于前沿的方法在真实世界中实现了最高的探索区域覆盖率（0.91），但AFCQN通过避免冗余探索并在地图完整性足够时提前停止，实现了更高的效率。
• DQN智能体由于对传感器噪声和输入分布偏移敏感，在真实世界中未能有效探索，凸显了AFCQN中辅助边缘监督的优势。
• 该框架展现出更优的泛化能力，AFCQN在不同地图上的性能方差低于端到端DRL方法。