[论文解读] End-to-End Egospheric Spatial Memory

Daniel Lenton, Stephen James+2 more|arXiv (Cornell University)|May 3, 2021

Multimodal Machine Learning Applications参考文献 43被引用 2

一句话总结

本文提出了一种无参数、端到端可微的内存模块——Egospheric Spatial Memory（ESM），该模块在智能体周围的3D自我中心球体中编码空间信息，从而实现对3D空间的丰富表征。ESM在无人机和机械臂的视觉-运动控制任务中提升了训练效率与最终性能，并可无缝集成非学习型模块（如障碍物避让）。

ABSTRACT

Spatial memory, or the ability to remember and recall specific locations and objects, is central to autonomous agents' ability to carry out tasks in real environments. However, most existing artificial memory modules have difficulty recalling information over long time periods and are not very adept at storing spatial information. We propose a parameter-free module, Egospheric Spatial Memory (ESM), which encodes the memory in an ego-sphere around the agent, enabling expressive 3D representations. ESM can be trained end-to-end via either imitation or reinforcement learning, and improves both training efficiency and final performance against other memory baselines on both drone and manipulator visuomotor control tasks. The explicit egocentric geometry also enables us to seamlessly combine the learned controller with other non-learned modalities, such as local obstacle avoidance. We further show applications to semantic segmentation on the ScanNet dataset, where ESM naturally combines image-level and map-level inference modalities. Through our broad set of experiments, we show that ESM provides a general computation graph for embodied spatial reasoning, and the module forms a bridge between real-time mapping systems and differentiable memory architectures.

研究动机与目标

• 解决现有人工记忆模块在长期空间回忆与3D空间表征方面的局限性。
• 开发一种无参数的记忆模块，利用自我中心几何结构提升具身智能体的空间推理能力。
• 实现记忆与策略的端到端训练，支持模仿学习或强化学习。
• 将学习型控制器与非学习型组件（如局部障碍物避让）无缝集成。
• 在多样化任务中实现泛化，包括视觉-运动控制与语义分割。

提出的方法

• ESM在以智能体为中心的球坐标系中编码记忆，形成环境的3D自我中心表征。
• 该模块通过模仿学习或强化学习进行端到端训练，且无可学习参数。
• 空间记忆通过智能体视角的观测实现增量式更新，保持时空一致性。
• 自我球体表征支持与非学习型感知模块（如实时障碍物避让）的直接融合。
• 该架构支持图像级与地图级推理，可在语义分割等任务中实现混合推理。
• 记忆具有可微性，并集成于连接实时建图与可微记忆系统的计算图中。

实验结果

研究问题

• RQ1 无参数的记忆模块能否在真实环境中长期有效编码并回忆3D空间信息？
• RQ2 与现有记忆基线相比，ESM在视觉-运动控制任务中如何提升训练效率与最终性能？
• RQ3 ESM在多大程度上可与非学习型感知模块（如局部障碍物避让）实现无缝结合？
• RQ4 ESM能否通过统一图像级与地图级推理，在不同任务（如视觉-运动控制与语义分割）中实现泛化？
• RQ5 与传统的拓扑或网格化记忆相比，自我中心3D记忆表征在表达能力与可扩展性方面表现如何？

主要发现

• 与基线记忆模块相比，ESM在无人机和机器人机械臂的视觉-运动控制任务中，同时提升了训练效率与最终性能。
• ESM明确的自我中心几何结构使其能自然地与非学习型组件（如局部障碍物避让）集成，从而增强鲁棒性。
• 在ScanNet数据集上，ESM成功融合图像级与地图级推理模态，用于语义分割，提升了推理保真度。
• 该模块在多样化具身任务中表现出强大泛化能力，可作为统一的计算图实现空间推理。
• ESM在实时建图系统与可微记忆架构之间架起桥梁，使自主智能体能够实现可扩展且富有表现力的空间记忆。