[论文解读] End-to-End Navigation in Unknown Environments using Neural Networks

Arbaaz Khan, Clark Zhang+4 more|ArXiv.org|Jul 24, 2017

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出一种端到端导航策略，采用结合可微记忆（LSTM）的值迭代网络（VIN），以解决未知环境中长型死胡同的导航问题。通过学习过去感官历史的表示，该模型在仅用20单位路径训练后，即可泛化至最长200单位的未见过的死胡同一贯，优于监督学习与强化学习基线方法。

ABSTRACT

We investigate how a neural network can learn perception actions loops for navigation in unknown environments. Specifically, we consider how to learn to navigate in environments populated with cul-de-sacs that represent convex local minima that the robot could fall into instead of finding a set of feasible actions that take it to the goal. Traditional methods rely on maintaining a global map to solve the problem of over coming a long cul-de-sac. However, due to errors induced from local and global drift, it is highly challenging to maintain such a map for long periods of time. One way to mitigate this problem is by using learning techniques that do not rely on hand engineered map representations and instead output appropriate control policies directly from their sensory input. We first demonstrate that such a problem cannot be solved directly by deep reinforcement learning due to the sparse reward structure of the environment. Further, we demonstrate that deep supervised learning also cannot be used directly to solve this problem. We then investigate network models that offer a combination of reinforcement learning and supervised learning and highlight the significance of adding fully differentiable memory units to such networks. We evaluate our networks on their ability to generalize to new environments and show that adding memory to such networks offers huge jumps in performance

研究动机与目标

• 解决传统SLAM映射因漂移而失效的未知环境中凸形局部极小值（如死胡同）的导航挑战。
• 探究端到端深度强化学习或监督学习是否可在无需显式地图表示的情况下解决序列导航问题。
• 探索记忆在实现对训练分布之外更长、未见过的死胡同泛化能力中的作用。
• 证明将值迭代网络与可微记忆单元结合，可实现鲁棒且可泛化的导航策略。

提出的方法

• 使用二维网格世界模拟器，采用离散动作（上、下、左、右）和深度传感器输入来建模机器人感知。
• 训练值迭代网络（VIN）以近似值迭代进行路径规划，使用学习到的奖励先验。
• 在注意力模块之后添加长短期记忆（LSTM）层，以编码序列感官历史。
• 使用A*规划器在固定长度（20单位）死胡同一致轨迹上提供的监督信号，端到端训练VIN+LSTM模型。
• 通过在未重新训练的情况下测试更长死胡同（最长500单位）来评估泛化性能。
• 与DQN、CNN、CNN+LSTM以及带手工部分地图的VIN进行性能比较，以分离记忆与架构的影响。

实验结果

研究问题

• RQ1 深度强化学习能否在稀疏奖励与复杂局部极小值的未知环境中解决端到端导航问题？
• RQ2 当传感器输入在进入和退出时完全相同时，基于全卷积网络的监督学习能否泛化至更长的死胡同？
• RQ3 在值迭代网络中添加LSTM记忆模块是否能实现对更长、未见过的死胡同的泛化？
• RQ4 VIN+LSTM的性能与具备手工设计部分地图的模型相比如何？
• RQ5 可微记忆机制（如LSTM或DNC）是否能提升序列决策任务中导航的鲁棒性？

主要发现

• DQN与标准CNN模型完全失败，在死胡同导航任务中成功率仅为0%，原因在于稀疏奖励与模糊的传感器输入。
• CNN+LSTM模型达到40%的成功率，但仅能泛化至最长20单位的死胡同，表明其学习的是固定转弯距离而非结构理解。
• 带手工部分地图的VIN实现100%成功率，并泛化至最长500单位的死胡同，证明过去观测的记忆对导航至关重要。
• 带LSTM层的VIN实现100%成功率，并泛化至最长190单位的死胡同，显著优于CNN+LSTM，表明其实现了有效的记忆整合。
• 当LSTM层置于VIN架构中注意力模块之后时性能最佳，凸显了架构设计的敏感性。
• 初步实验显示，与LSTM相比，可微神经计算机（DNC）表现更优，提示未来研究可探索更先进的记忆机制。