[论文解读] FutureMapping: The Computational Structure of Spatial AI Systems

Andrew J. Davison|arXiv (Cornell University)|Mar 29, 2018

Robotics and Sensor-Based Localization参考文献 48被引用 32

一句话总结

本文提出，未来的空间智能系统——对机器人和AR设备至关重要——将通过将几何感知与语义感知整合到持久的、度量准确的三维场景表示中，从SLAM演进而来。它主张通过算法、传感器和异构处理器的协同设计，弥合研究能力与现实产品约束之间的性能差距。

ABSTRACT

We discuss and predict the evolution of Simultaneous Localisation and Mapping (SLAM) into a general geometric and semantic `Spatial AI' perception capability for intelligent embodied devices. A big gap remains between the visual perception performance that devices such as augmented reality eyewear or comsumer robots will require and what is possible within the constraints imposed by real products. Co-design of algorithms, processors and sensors will be needed. We explore the computational structure of current and future Spatial AI algorithms and consider this within the landscape of ongoing hardware developments.

研究动机与目标

• 分析当前及未来空间智能系统的计算架构，尤其关注现实世界硬件约束的背景。
• 识别在消费级设备（如AR眼镜和家用机器人）中部署高性能视觉感知的关键挑战。
• 主张从传统SLAM基准转向多目标性能指标，以反映真实应用场景的需求。
• 倡导通过算法、处理器和传感器的协同设计，实现高效、低功耗的空间智能系统。
• 预测空间智能的未来发展方向，即作为智能具身设备的通用、普及性感知层。

提出的方法

• 基于数十年来实时三维场景估计的持续进展，提出SLAM向空间智能的演进是设计未来感知系统最可靠的指导。
• 提出一种多目标基准测试框架，包含准确性、延迟、鲁棒性、功耗和数据移动性等指标，超越传统仅关注准确性的评估方式。
• 使用SLAMBench和SLAMBench2框架作为基础工具，对不同处理器和算法实现下的SLAM系统进行评估。
• 主张识别算法和数据结构中的稀疏图模式，以与新兴的异构硬件对齐，提升效率。
• 提出未来空间智能系统应构建持久的、度量准确的三维场景表示，以支持长期记忆、规划和交互。
• 强调系统需同时支持实时运行和假设性推理（例如心理模拟），受朱迪亚·珀尔的因果心理模型概念启发。

实验结果

研究问题

• RQ1 SLAM系统如何演进为通用型空间智能系统，以在动态环境中支持长期、目标导向的交互？
• RQ2 当前SLAM系统在扩展至AR眼镜或家用机器人等消费级设备时，面临哪些关键的计算与硬件约束？
• RQ3 如何重新定义基准测试框架，以反映超越准确性的现实性能指标，包括鲁棒性、延迟和能效？
• RQ4 算法、传感器和处理器的协同设计在实现高效、低功耗空间智能系统方面发挥何种作用？
• RQ5 在AR、机器人和智能助手等多样化应用场景中，哪些指标最能预测真实世界空间智能系统的性能？

主要发现

• 即使使用高端传感器和无限算力，最先进的SLAM研究与真实消费设备需求之间仍存在显著性能差距。
• 当前的SLAM基准测试不足，因其仅聚焦于准确性，且常选择有利的测试序列，导致性能声明具有误导性。
• SLAMBench和SLAMBench2通过在多样化硬件平台上同时测量准确性和计算成本，提供了对SLAM系统更全面的评估。
• 本文识别出多目标指标（如跟踪鲁棒性、重定位成功率、位姿可重复性及功耗）对预测真实世界系统性能至关重要。
• 未来空间智能系统必须构建持久的、度量准确的三维场景表示，以支持定位之外的规划、记忆和交互功能。
• 高效的空间智能将依赖于将算法数据结构（尤其是稀疏图）与新兴的异构处理器架构对齐，以最小化数据移动和能耗。