[论文解读] Learning to Navigate Using Mid-Level Visual Priors

Alexander F. Sax, Jeffrey O. Zhang+5 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 52被引用 12

一句话总结

本文提出将中层视觉先验（如深度估计、边缘检测和语义分割）整合到机器人导航的强化学习策略中。通过使用预训练的视觉模型提取结构化表征，而非原始像素，该方法在学习速度、跨环境泛化能力以及最终性能方面均优于从零开始训练或使用当前最先进表征学习方法的基线模型。

ABSTRACT

How much does having visual priors about the world (e.g. the fact that the world is 3D) assist in learning to perform downstream motor tasks (e.g. navigating a complex environment)? What are the consequences of not utilizing such visual priors in learning? We study these questions by integrating a generic perceptual skill set (a distance estimator, an edge detector, etc.) within a reinforcement learning framework (see Fig. 1). This skill set ("mid-level vision") provides the policy with a more processed state of the world compared to raw images. Our large-scale study demonstrates that using mid-level vision results in policies that learn faster, generalize better, and achieve higher final performance, when compared to learning from scratch and/or using state-of-the-art visual and non-visual representation learning methods. We show that conventional computer vision objectives are particularly effective in this regard and can be conveniently integrated into reinforcement learning frameworks. Finally, we found that no single visual representation was universally useful for all downstream tasks, hence we computationally derive a task-agnostic set of representations optimized to support arbitrary downstream tasks.

研究动机与目标

• 探究在视觉-运动强化学习中，引入中层视觉先验是否能提升样本效率、泛化能力以及最终性能。
• 评估独立训练的传统计算机视觉目标是否可作为主动强化学习任务中的有效感知先验。
• 确定单一、与任务无关的中层表征集合是否能够支持多样化的下游导航任务。
• 比较语义与几何视觉表征在不同导航与探索任务中的有效性差异。
• 评估中层视觉是否能催生出未明确通过奖励函数设计但有益的涌现行为。

提出的方法

• 该方法使用为标准计算机视觉任务（如深度估计、实例分割等）预训练的神经网络，从原始图像中提取中层视觉特征。
• 这些特征被用作强化学习策略中的观测输入，替代原始像素输入。
• 该方法在三个环境（Gibson、Habitat 和 ViZDoom）中，针对 24 种不同的中层视觉表征进行了评估。
• 采用最大覆盖特征选择算法，计算生成一个与任务无关的表征集合，以覆盖多样化的感知需求。
• 性能通过标准指标（如成功率、SPL、碰撞次数以及每集的奖励）在导航与探索任务中进行评估。
• 使用经过聚类效应校正的 Wilcoxon 秩和检验，对每项实验的 10 个随机种子进行统计显著性分析。

实验结果

研究问题

• RQ1 使用中层视觉先验是否能提升视觉-运动强化学习中的样本效率与最终性能？
• RQ2 语义与几何视觉表征在导航与探索任务中的有效性有何差异？
• RQ3 单一、与任务无关的中层表征集合是否能在多样化下游任务中实现良好泛化？
• RQ4 中层视觉特征是否会导致未明确由奖励函数引导但有益的涌现行为？
• RQ5 即使使用最先进表征学习方法，直接从原始像素学习是否仍不如使用预训练视觉表征？

主要发现

• 使用中层视觉先验训练的策略在最终性能上显著优于从原始像素或使用最先进表征学习方法训练的策略。
• 中层视觉提升了样本效率，使策略学习更快，并在更少的环境交互次数下实现收敛。
• 在存在视觉域偏移的跨环境泛化任务中，使用中层表征的性能显著优于使用原始像素。
• 表现最佳的中层特征具有任务依赖性：在导航任务中，语义特征优于几何特征；而在探索任务中，几何特征优于语义特征。
• 通过计算方法生成的最大覆盖特征集，能够覆盖多样化的感知需求，其性能优于随机选择的特征集，并与最佳单个特征表现相当或更优。
• 即使未进行奖励函数设计，使用中层视觉训练的策略也表现出高效路径规划与障碍物规避等理想行为，表明其具备涌现能力。