[论文解读] Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships

Yunlian Lv, Ning Xie+3 more|arXiv (Cornell University)|Apr 29, 2020

Multimodal Machine Learning Applications参考文献 63被引用 21

一句话总结

该论文提出了一种新颖的深度强化学习框架，用于在3D环境中进行目标驱动的视觉导航，通过将3D知识图谱（KG）与图卷积网络（GCN）以及目标技能扩展（TSE）模块相结合，生成子目标以提升数据效率和泛化能力。该方法增强了对空间关系的关注，并使智能体能够从失败中学习，在AI2-THOR上的SR和SPL指标上均优于基线模型。

ABSTRACT

Embodied artificial intelligence (AI) tasks shift from tasks focusing on internet images to active settings involving embodied agents that perceive and act within 3D environments. In this paper, we investigate the target-driven visual navigation using deep reinforcement learning (DRL) in 3D indoor scenes, whose navigation task aims to train an agent that can intelligently make a series of decisions to arrive at a pre-specified target location from any possible starting positions only based on egocentric views. However, most navigation methods currently struggle against several challenging problems, such as data efficiency, automatic obstacle avoidance, and generalization. Generalization problem means that agent does not have the ability to transfer navigation skills learned from previous experience to unseen targets and scenes. To address these issues, we incorporate two designs into classic DRL framework: attention on 3D knowledge graph (KG) and target skill extension (TSE) module. On the one hand, our proposed method combines visual features and 3D spatial representations to learn navigation policy. On the other hand, TSE module is used to generate sub-targets which allow agent to learn from failures. Specifically, our 3D spatial relationships are encoded through recently popular graph convolutional network (GCN). Considering the real world settings, our work also considers open action and adds actionable targets into conventional navigation situations. Those more difficult settings are applied to test whether DRL agent really understand its task, navigating environment, and can carry out reasoning. Our experiments, performed in the AI2-THOR, show that our model outperforms the baselines in both SR and SPL metrics, and improves generalization ability across targets and scenes.

研究动机与目标

• 解决目标驱动视觉导航中的泛化差距问题，即智能体无法将技能迁移到未见过的目标和场景。
• 通过缓解导航任务中稀疏奖励问题，提升深度强化学习的数据效率。
• 通过知识图谱与GCN编码物体之间的3D空间关系，增强空间推理能力。
• 通过TSE模块引入子目标，使智能体能够从中间失败中学习，提升探索效率。
• 在静态目标和可操作目标上进行评估，涵盖开放词汇和开放动作设置。

提出的方法

• 模型从探索过程中观察到的物体检测结果和空间关系（例如‘在……上’、‘在……下’、‘在……左侧’）构建3D知识图谱。
• 应用图卷积网络（GCN）对KG中的节点特征进行编码，以在学习表征中保留空间布局。
• 使用端到端注意力机制，在策略决策过程中动态关注KG中的相关物体和空间关系。
• TSE模块从目标图像和环境中生成子目标，使智能体能够从中间失败中学习并提升探索能力。
• 将来自第一人称视角观测的视觉特征与KG嵌入的空间知识相结合，以指导动作选择。
• 通过子目标进行课程学习并结合次优专家路径的模仿，使用A3C进行训练，从而加快收敛速度。

实验结果

研究问题

• RQ1 3D空间知识图谱能否在未见过的目标和场景中提升视觉导航的零样本泛化能力？
• RQ2 通过TSE模块引入子目标，对基于DRL的导航任务中的数据效率和收敛速度有何影响？
• RQ3 对空间关系的关注在多大程度上提升了策略学习能力和障碍物规避能力？
• RQ4 该模型能否泛化到可操作目标（例如需交互的物体）而不仅限于静态目标？
• RQ5 与仅使用标准视觉特征的模型相比，对KG进行端到端注意力是否能提升推理和导航性能？

主要发现

• 所提模型在AI2-THOR上的成功率（SR）和SPL指标上均优于基线模型，表明导航性能得到显著提升。
• 模型在未见过的目标和场景中展现出更优的泛化能力，表明通过空间知识实现了有效的迁移学习。
• TSE模块显著提升了数据效率，使收敛速度优于标准A3C，甚至在某些情况下超越了模仿学习。
• t-SNE可视化结果证实，GCN学习到的节点特征保留了空间布局，空间上接近的物体（例如架子上的花瓶和雕像）在特征空间中聚集在一起。
• 注意力机制能够自适应地在适当的时间步聚焦于相关物体（例如烤土司机、马克杯），模拟人类般的推理过程。
• 模型在可操作目标上表现出良好泛化能力，例如在冰箱中找到面包和生菜，显示出在开放动作设置下的鲁棒性。