[论文解读] Graph Attention Memory for Visual Navigation

Dong Li, Qichao Zhang+6 more|arXiv (Cornell University)|May 11, 2019

Multimodal Machine Learning Applications参考文献 28被引用 8

一句话总结

本文提出图注意力记忆（GAM），一种用于视觉导航的新颖记忆架构，通过探索先验构建拓扑图，利用图注意力机制提取引导特征，并与深度强化学习结合实现决策。基于GAM的智能体在复杂3D迷宫中实现显著更快的学习速度与100%的成功率，优于反应式与LSTM基线模型，尤其在长时程导航任务中表现更优。

ABSTRACT

Visual navigation in complex environments is inefficient with traditional reactive policy or general-purposed recurrent policy. To address the long-term memory issue, this paper proposes a graph attention memory (GAM) architecture consisting of memory construction module, graph attention module and control module. The memory construction module builds the topological graph based on supervised learning by taking the exploration prior. Then, guided attention features are extracted with the graph attention module. Finally, the deep reinforcement learning based control module makes decisions based on visual observations and guided attention features. Detailed convergence analysis of GAM is presented in this paper. We evaluate GAM-based navigation system in two complex 3D environments. Experimental results show that the GAM-based navigation system significantly improves learning efficiency and outperforms all baselines in average success rate.

研究动机与目标

• 解决在使用深度强化学习进行视觉导航时长期记忆的局限性。
• 提升在反应式策略与通用RNN如LSTM失效的复杂3D环境中的学习效率与泛化能力。
• 开发一种外部记忆模块，有效捕捉环境布局与时间关系。
• 使智能体能够泛化至训练分布之外的新初始位置与目标位置。
• 为记忆模块中提出的图注意力机制提供理论收敛性分析。

提出的方法

• 记忆构建模块利用探索过程中收集的视觉观测，通过成对相似性度量识别关键地标，构建拓扑图。
• 图注意力模块在拓扑图上应用软注意力机制，从邻近节点提取引导注意力特征。
• 注意力机制通过带有可学习注意力权重的图卷积网络实现，聚焦于相关空间与时间上下文。
• DRL控制模块利用视觉观测与引导注意力特征预测动作，通过共享策略与价值网络的强化学习进行训练。
• GAM模块设计为即插即用组件，兼容任意DRL架构，支持模块化集成。
• 为循环引导注意力特征提取过程提供理论收敛性分析，确保学习过程的稳定性。

实验结果

研究问题

• RQ1 基于注意力机制的拓扑图记忆能否提升视觉导航中的长期记忆保持能力？
• RQ2 与反应式或LSTM基线策略相比，图注意力机制如何增强特征表示？
• RQ3 GAM系统是否在复杂3D迷宫中实现更快的学习收敛与更高的成功率？
• RQ4 训练后的智能体能否泛化至环境中未见过的初始与目标位置？
• RQ5 所提出的图注意力机制在学习动态下是否具备理论稳定性与收敛性？

主要发现

• 基于GAM的智能体在迷宫2中实现100%成功率，而所有基线模型仅达10%，表明在复杂、长时程导航任务中性能显著更优。
• GAM智能体学习速度更快，且收敛至更高的回合奖励，迷宫1最终得分为132.05，迷宫2为100.5。
• 智能体成功从全部六个新初始位置与六个新目标位置导航至目标，证实其具备强大的泛化能力。
• 构建的记忆图可视化显示，远距离或被墙隔开的节点之间无错误连接，表明拓扑表示准确。
• 导航轨迹平滑，无抖动动作，表明引导注意力特征支持了稳定的策略行为。
• 理论收敛性分析证实了循环注意力特征提取过程的稳定性，支持可靠的训练动态。