[论文解读] A Critical Investigation of Deep Reinforcement Learning for Navigation

Vikas Dhiman, Shurjo Banerjee+3 more|arXiv (Cornell University)|Feb 7, 2018

Reinforcement Learning in Robotics参考文献 17被引用 22

一句话总结

本文通过系统性地测试不同环境下的探索与利用地图信息能力，批判性评估了深度强化学习（DRL）智能体在导航任务中的表现。利用自定义实验套件，研究发现DRL智能体仅在训练与测试使用相同地图时才能成功收集并利用地图知识，而在未见过的地图上无法泛化，甚至在静态地图上随机目标位置时也未能实现最优路径效率。

ABSTRACT

The navigation problem is classically approached in two steps: an exploration step, where map-information about the environment is gathered; and an exploitation step, where this information is used to navigate efficiently. Deep reinforcement learning (DRL) algorithms, alternatively, approach the problem of navigation in an end-to-end fashion. Inspired by the classical approach, we ask whether DRL algorithms are able to inherently explore, gather and exploit map-information over the course of navigation. We build upon Mirowski et al. [2017] work and introduce a systematic suite of experiments that vary three parameters: the agent's starting location, the agent's target location, and the maze structure. We choose evaluation metrics that explicitly measure the algorithm's ability to gather and exploit map-information. Our experiments show that when trained and tested on the same maps, the algorithm successfully gathers and exploits map-information. However, when trained and tested on different sets of maps, the algorithm fails to transfer the ability to gather and exploit map-information to unseen maps. Furthermore, we find that when the goal location is randomized and the map is kept static, the algorithm is able to gather and exploit map-information but the exploitation is far from optimal. We open-source our experimental suite in the hopes that it serves as a framework for the comparison of future algorithms and leads to the discovery of robust alternatives to classical navigation methods.

研究动机与目标

• 探究深度强化学习（DRL）智能体是否能在导航过程中内在地学习探索与利用环境地图信息的能力。
• 评估DRL智能体在不同迷宫结构、生成位置和目标位置下的泛化能力。
• 衡量DRL智能体发现并遵循近似最短路径的程度，特别是在目标位置随机化的情况下。
• 开发并应用新的评估指标——Latency-1:>1 和 Distance-inefficiency，以明确区分探索与利用性能。
• 开源一个全面的实验框架，用于未来DRL导航算法的基准测试。

提出的方法

• 构建了一个系统性实验套件，变化三个关键参数：智能体的起始位置、目标位置和迷宫结构。
• 使用Mirowski等人（2017）提出的NavA3C+D1 D2L算法，在固定和随机地图配置上训练DRL智能体。
• 引入两种新评估指标：Latency-1:>1（首次到达目标时间与平均重访时间之比），用于衡量利用能力；Distance-inefficiency（实际路径长度 / 最短路径长度），用于评估路径最优性。
• 在四种设置下进行实验：相同地图（静态）、静态地图上随机目标、静态地图上随机起始点，以及在1000张地图上训练并在100张未见过的地图上测试。
• 使用基于梯度的注意力可视化（类似LIME）分析智能体在导航过程中关注的视觉区域。
• 在每种测试条件下报告100集的结果，并附标准差，以确保统计可靠性。

实验结果

研究问题

• RQ1 当在相同地图结构上进行训练和测试时，DRL智能体能否有效收集并利用地图信息？
• RQ2 DRL智能体在未见过的迷宫结构上，其地图探索与利用能力的泛化程度如何？
• RQ3 目标位置的随机化在多大程度上影响智能体利用已学习地图表征的能力？
• RQ4 即使在静态地图上，当目标位置随机化时，DRL智能体能多接近找到最短路径？
• RQ5 DRL智能体在导航过程中关注哪些视觉特征？这种注意力是否与有效的路径规划相关？

主要发现

• 在相同地图上进行训练与测试时，DRL智能体的Latency-1:>1比率大于1，证实其能有效利用地图信息。
• 在静态地图上目标位置随机化时，智能体的Distance-inefficiency约为1，表明其在探索过程中能发现近似最优路径。
• 当在1000张不同地图上训练并在100张未见过的地图上测试时，智能体无法泛化：在Square地图上仅50.4%（±12.8%）的时间选择了最短路径。
• 在Goal地图上，仅42.6%（±35.1%）的时间选择了最短路径，表明其性能甚至不如随机选择，即使经过大量训练。
• 注意力可视化显示，智能体仅聚焦于输入图像的中央区域，表明其依赖有限的视觉线索，而非对完整地图的理解。
• 尽管在固定环境中学会了快速重访目标，但当目标位置随机化时，DRL智能体并未学会利用地图结构进行最优路径规划。