[论文解读] Active Robotic Mapping through Deep Reinforcement Learning

Shane Barratt|arXiv (Cornell University)|Dec 28, 2017

Optimization and Search Problems参考文献 8被引用 5

一句话总结

本文提出了一种用于主动机器人制图的深度强化学习方法，其中智能体通过随时间最大化地图准确性来学习高效探索环境。采用占用网格信念表示的优势演员-critic（A2C）框架，该方法在模拟灾难制图场景中优于近似最优的贪心探索策略，展示了在具有连续动作空间的复杂现实场景中的可扩展性。

ABSTRACT

We propose an approach to learning agents for active robotic mapping, where the goal is to map the environment as quickly as possible. The agent learns to map efficiently in simulated environments by receiving rewards corresponding to how fast it constructs an accurate map. In contrast to prior work, this approach learns an exploration policy based on a user-specified prior over environment configurations and sensor model, allowing it to specialize to the specifications. We evaluate the approach through a simulated Disaster Mapping scenario and find that it achieves performance slightly better than a near-optimal myopic exploration scheme, suggesting that it could be useful in more complicated problem scenarios.

研究动机与目标

• 开发一种基于强化学习的智能体，通过主动探索比现有启发式方法更快、更准确地制图未知环境。
• 通过端到端训练使智能体能够针对用户指定的传感器模型和环境先验进行专业化。
• 通过将动作选择问题形式化为马尔可夫决策过程（MDP），解决占用网格制图中的挑战。
• 在具有复杂不确定性与传感器动态的现实模拟环境中评估该方法，证明其对未见环境的泛化能力。
• 为集成主动制图与主动定位奠定基础，最终实现完全可训练的SLAM系统。

提出的方法

• 该方法将主动制图问题建模为马尔可夫决策过程（MDP），其中状态包括机器人的位姿及其对环境占用网格的信念。
• 智能体的信念使用对数似然占用网格表示，通过对网格单元的独立性假设使推理变得可行。
• 深度神经网络（MLP、CNN-MLP或ResNet）处理信念图和机器人位姿以输出动作，使用优势演员-评论家（A2C）算法进行训练。
• 智能体在模拟环境中通过可能的地图配置先验分布和指定的传感器模型进行训练，基于地图准确性和速度获得密集奖励。
• 在当前设置中，动作空间为离散的，但该方法可通过A2C中的解析对数概率扩展到连续动作。
• 训练采用奖励塑造方案，以鼓励快速减少不确定性，结合熵正则化和学习率退火以实现稳定优化。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在主动制图中比手工设计的贪心策略更高效地探索未知环境？
• RQ2 当在地图配置的先验分布上进行训练时，智能体在未见环境中的泛化程度如何？
• RQ3 神经网络架构选择（MLP、CNN-MLP、ResNet）对主动制图中学习稳定性和最终性能有何影响？
• RQ4 该方法能否扩展到连续动作空间，例如同时控制机器人的旋转和平移？
• RQ5 该方法是否可扩展到更复杂的传感器模型，如具有方向相关噪声的声纳或测距仪？

主要发现

• ResNet架构在平均回合奖励上达到最高值254.87 ± 47.26，略高于贪心探索基线的251.07 ± 29.20。
• 尽管初始性能占优，ResNet训练最终出现发散；CNN-MLP架构最终表现优于ResNet和更简单的MLP。
• 该方法显著优于随机探索（92.19 ± 23.84），证实智能体学习到了有意义的探索策略。
• 智能体在1,000张未见地图上的表现稳健，表明其对未见环境具有强大的泛化能力。
• 结果表明，该方法可扩展至传统信息增益或前景区分方法不可行的更复杂环境和传感器模型。
• 该方法在模拟灾难制图场景中的成功，支持其与主动定位及完整SLAM系统集成的潜力。