[论文解读] Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation

Péter Karkus, David Hsu+1 more|arXiv (Cornell University)|Jul 17, 2018

Robotic Path Planning Algorithms参考文献 27被引用 5

一句话总结

本文提出导航网络（NavNets），一种可微分、端到端可训练的循环神经网络，用于整合部分可观察机器人导航中的状态估计、规划与控制。通过将算法先验（特别是基于模型的规划器和可微分粒子滤波器）嵌入深度学习框架，NavNets 仅使用 2D 地图和单目视觉观测，成功学习在未见过的 3D 环境中导航，展示了在模拟环境间的泛化能力。

ABSTRACT

We propose to take a novel approach to robot system design where each building block of a larger system is represented as a differentiable program, i.e. a deep neural network. This representation allows for integrating algorithmic planning and deep learning in a principled manner, and thus combine the benefits of model-free and model-based methods. We apply the proposed approach to a challenging partially observable robot navigation task. The robot must navigate to a goal in a previously unseen 3-D environment without knowing its initial location, and instead relying on a 2-D floor map and visual observations from an onboard camera. We introduce the Navigation Networks (NavNets) that encode state estimation, planning and acting in a single, end-to-end trainable recurrent neural network. In preliminary simulation experiments we successfully trained navigation networks to solve the challenging partially observable navigation task.

研究动机与目标

• 解决机器人初始位置未知、必须从视觉观测和 2D 地图中推断的局部可观察机器人导航挑战。
• 通过将算法结构直接嵌入可微分神经网络，结合基于模型的规划与无模型深度学习的优势。
• 实现统一系统在部分可观察条件下的端到端训练，完成定位、规划与动作选择。
• 仅使用专家示范和视觉输入，实现导航策略在未见 3D 环境中的泛化。

提出的方法

• 提出一种新型架构——导航网络（NavNets），一种循环神经网络，将状态估计、规划与执行整合于单一可微分程序中。
• 采用可微分粒子滤波器表示信念，实现从视觉观测和 2D 地图中进行概率状态估计。
• 在神经网络中嵌入基于模型的规划器（类似 QMDP），使系统能够在不确定性下推理未来状态与动作。
• 使用循环结构保持对过去观测与动作的记忆，支持在部分可观察条件下的序列决策。
• 通过监督模仿学习从专家示范中端到端训练整个网络，利用反向传播优化可微分组件。
• 对非可微操作（如动作选择与规划）应用可微分近似（如软-argmax），实现基于梯度的优化。

实验结果

研究问题

• RQ1 可微分神经网络架构能否有效整合规划与学习，以应对部分可观察导航？
• RQ2 NavNets 是否能仅使用视觉观测和 2D 地图，在未见 3D 环境中泛化导航策略？
• RQ3 嵌入算法先验（如规划器与粒子滤波器）相较于标准深度强化学习，在部分可观察设置下是否能提升性能？
• RQ4 当前 NavNet 设计在处理突发障碍物与长时程规划方面存在哪些局限？

主要发现

• NavNets 仅使用专家示范和视觉输入，成功在模拟 3D 环境中学习导航策略，展示了在未见迷宫中的泛化能力。
• 算法先验的整合——特别是可微分规划器与粒子滤波器——在部分可观察条件下实现了有效推理，在复杂场景中优于以往无模型方法。
• 初步实验表明，NavNets 在简单导航任务中取得高成功率，但在更复杂场景（任务 C）中性能仍不理想，主要因避障失败。
• 失败通常源于执行器缺乏记忆与对全局计划的意识，表明需要更丰富的状态表示与更长的上下文窗口。
• 该方法表明，通过可微分组件端到端训练统一系统，可实现定位、规划与控制的联合优化。
• 研究表明，未来改进可来自引入多步视觉历史与更大规模的局部规划表示，以增强反应式避障能力。