[论文解读] gradSLAM: Dense SLAM meets Automatic Differentiation

Krishna Murthy Jatavallabhula, Ganesh Iyer+1 more|arXiv (Cornell University)|Oct 23, 2019

Robotics and Sensor-Based Localization被引用 21

一句话总结

gradSLAM 引入了一种可微分的计算图框架用于稠密 SLAM，通过反向传播对不可微分的组件（如信赖域优化器、表面测量和光线追踪）进行微分，实现了从 2D 像素到 3D 地图的端到端反向传播。这使得整个 SLAM 流水线中可实现基于梯度的学习，为机器人领域中的数据驱动表征学习开辟了新途径。

ABSTRACT

The question of representation is central in the context of dense simultaneous localization and mapping (SLAM). Newer learning-based approaches have the potential to leverage data or task performance to directly inform the choice of representation. However, learning representations for SLAM has been an open question, because traditional SLAM systems are not end-to-end differentiable. In this work, we present gradSLAM, a differentiable computational graph take on SLAM. Leveraging the automatic differentiation capabilities of computational graphs, gradSLAM enables the design of SLAM systems that allow for gradient-based learning across each of their components, or the system as a whole. This is achieved by creating differentiable alternatives for each non-differentiable component in a typical dense SLAM system. Specifically, we demonstrate how to design differentiable trust-region optimizers, surface measurement and fusion schemes, as well as differentiate over rays, without sacrificing performance. This amalgamation of dense SLAM with computational graphs enables us to backprop all the way from 3D maps to 2D pixels, opening up new possibilities in gradient-based learning for SLAM. TL;DR: We leverage the power of automatic differentiation frameworks to make dense SLAM differentiable.

研究动机与目标

• 为解决稠密 SLAM 中表征学习的挑战，通过实现端到端可微分性来实现。
• 克服传统 SLAM 系统不可微分的局限，从而阻碍基于梯度的优化。
• 为稠密 SLAM 中的关键不可微分组件（如优化、表面融合和光线追踪）设计可微分的替代方案。
• 实现从 3D 地图到 2D 像素的反向传播，促进整个 SLAM 流水线的联合学习。
• 通过可微分 SLAM 开启机器人领域中数据驱动表征学习的新可能。

提出的方法

• 构建一个建模整个稠密 SLAM 流水线的计算图，包括图像编码、深度估计和 3D 地图构建。
• 通过将迭代优化步骤重新表述为可微分操作，设计可微分的信赖域优化器。
• 开发可微分的表面测量与融合方案，使梯度能够流经深度测量到 3D 地图的融合过程。
• 通过使用可微分函数近似，对渲染和投影中使用的光线投射操作进行微分。
• 利用自动微分框架（如 PyTorch）计算从像素到 3D 坐标所有组件的梯度。
• 确保可微分组件在性能上与非可微分基线相当，同时保持准确性并支持学习。

实验结果

研究问题

• RQ1 稠密 SLAM 系统能否被完全可微分化，以实现对所有组件的基于梯度的学习？
• RQ2 如何将如信赖域优化和表面融合等不可微分操作重新表述为可微分函数？
• RQ3 在稠密 SLAM 系统中，从 2D 图像像素到 3D 地图表征的梯度流动能在多大程度上得以保持？
• RQ4 可微分 SLAM 是否能通过端到端学习实现表征与系统组件的联合优化？
• RQ5 在不牺牲准确性的前提下，向核心 SLAM 组件引入可微性时，是否会产生任何性能权衡？

主要发现

• gradSLAM 通过微分优化、融合和光线追踪等关键 SLAM 组件，成功实现了从 3D 地图到 2D 像素的反向传播。
• 该框架在性能上与非可微分基线相当，表明可微性不会损害准确性。
• 通过在计算图中将迭代求解器重新表述为可微分操作，实现了可微分的信赖域优化器。
• 通过可微分插值和聚合函数，使表面测量与融合方案实现可微分。
• 通过可微分近似，使光线追踪操作实现可微分，从而支持投影和渲染步骤的梯度流动。
• 将自动微分集成到稠密 SLAM 中，开启了如从原始像素端到端表征学习等新型学习范式。