[论文解读] Bayesian Relational Memory for Semantic Visual Navigation

Yi Wu, Yuxin Wu+4 more|arXiv (Cornell University)|Sep 10, 2019

Multimodal Machine Learning Applications参考文献 62被引用 7

一句话总结

本文提出贝叶斯关系记忆（BRM），一种概率性关系图记忆机制，能够从训练环境中的语义场景布局中捕捉先验知识，并在测试阶段的未见过环境中实现高效、自适应的规划。通过将语义实体（例如房间类型）建模为节点，将它们之间的'邻近'关系建模为带有学习存在概率的边，BRM 利用贝叶斯推理更新信念，并指导子目标规划，在语义视觉导航任务中显著提升了成功率和样本效率，相较于未显式使用关系记忆的基线深度强化学习智能体表现更优。

ABSTRACT

We introduce a new memory architecture, Bayesian Relational Memory (BRM), to improve the generalization ability for semantic visual navigation agents in unseen environments, where an agent is given a semantic target to navigate towards. BRM takes the form of a probabilistic relation graph over semantic entities (e.g., room types), which allows (1) capturing the layout prior from training environments, i.e., prior knowledge, (2) estimating posterior layout at test time, i.e., memory update, and (3) efficient planning for navigation, altogether. We develop a BRM agent consisting of a BRM module for producing sub-goals and a goal-conditioned locomotion module for control. When testing in unseen environments, the BRM agent outperforms baselines that do not explicitly utilize the probabilistic relational memory structure

研究动机与目标

• 解决在未知布局的未见环境中测试时，语义视觉导航智能体存在的泛化差距问题。
• 克服现有记忆架构（如空间记忆或拓扑记忆）缺乏先验布局知识以及在测试阶段探索过程中无法动态更新信念的局限性。
• 开发一种记忆机制，从训练数据中编码语义关系先验，并在测试阶段利用贝叶斯推理实现高效、自适应的规划。
• 通过语义关系后验概率的子目标规划提升导航性能，增强成功率和样本效率。

提出的方法

• 构建一个概率关系图，其中节点表示语义概念（例如房间类型），边表示它们之间的'邻近'空间关系。
• 通过在训练环境中对关系出现频率进行平均，学习边的存在概率作为先验，以编码通用布局知识。
• 在测试阶段探索过程中，逐步观察当前环境中关系的存在情况，并使用贝叶斯法则更新边的概率，以获得后验信念。
• 利用后验关系图进行高效图搜索，生成导航的子目标，引导智能体朝向语义目标前进。
• 将 BRM 与目标条件的 LSTM 策略结合，实现低层次控制，支持通过深度强化学习进行端到端训练。
• 每隔 N 步定期进行重规划，利用更新后的后验信念适应新观测，提升路径效率。

实验结果

研究问题

• RQ1 一种在训练环境中建模语义关系先验的记忆架构，是否能提升在未见测试环境中语义视觉导航的泛化能力？
• RQ2 在测试阶段探索过程中，对关系图进行贝叶斯信念更新，如何影响导航性能和样本效率？
• RQ3 与基线智能体相比，通过概率关系引入先验布局知识，在多大程度上能减少导航步数并提高成功率？
• RQ4 在长时程、部分可观测的导航任务中，基于图的规划机制是否能优于标准 RNN 控制器？
• RQ5 在未见环境中，基于 BRM 的智能体对重规划频率和规划时域长度的变化有多强的鲁棒性？

主要发现

• 在标准评估设置下（H=1000，N=10），BRM 智能体的成功率为 41.1%，SPL 为 57.5‰，显著优于 RNN 控制器基线（成功率 37.0%，SPL 45.2‰）。
• 在启用终止动作的情况下，BRM 智能体的成功率为 17.3%，SPL 为 23.0‰，在所有评估智能体中最高，表明其具备强大的自我终止能力。
• 随着重规划间隔（N）增大，性能有所下降，但 BRM 在所有测试的 N 值（N=10, 30, 50）下均保持对 RNN 控制器的一致优势。
• 在未见环境中，BRM 智能体的泛化能力优于基线，表现为在部分可观测性和长时程约束下仍具有更高的成功率和 SPL。
• 使用语义分类器作为终止检测器可提升实际性能，BRM 智能体有效利用该机制实现在目标房间的自我终止。