[论文解读] miniSAM: A Flexible Factor Graph Non-linear Least Squares Optimization Framework

Jing Dong, Zhaoyang Lv|arXiv (Cornell University)|Sep 3, 2019

Robotics and Sensor-Based Localization参考文献 10被引用 9

一句话总结

miniSAM 是一个轻量级、开源的 C++/Python 框架，用于使用因子图进行非线性最小二乘优化，专为机器人学和计算机视觉中的灵活原型设计而设计。它支持完整的 Python/NumPy 集成，多种稀疏线性求解器（包括 CUDA 加速的 cuSOLVER），以及自定义流形，尽管在动态内存分配和 Python 兼容性设计选择上存在少量开销，其性能仍可与 Ceres、g2o 和 GTSAM 在 SLAM 基准测试中相媲美。

ABSTRACT

Many problems in computer vision and robotics can be phrased as non-linear least squares optimization problems represented by factor graphs, for example, simultaneous localization and mapping (SLAM), structure from motion (SfM), motion planning, and control. We have developed an open-source C++/Python framework miniSAM, for solving such factor graph based least squares problems. Compared to most existing frameworks for least squares solvers, miniSAM has (1) full Python/NumPy API, which enables more agile development and easy binding with existing Python projects, and (2) a wide list of sparse linear solvers, including CUDA enabled sparse linear solvers. Our benchmarking results shows miniSAM offers comparable performances on various types of problems, with more flexible and smoother development experience.

研究动机与目标

• 开发一个轻量级、可扩展的框架，用于机器人学与计算机视觉中的非线性最小二乘优化。
• 通过完整的 Python/NumPy API 实现快速原型设计，同时保持 C++ 的性能。
• 支持广泛的稀疏线性求解器，包括 GPU 加速选项（如 cuSOLVER）。
• 在不修改底层类型的情况下，提供对自定义代价函数和流形的可扩展性。
• 实现跨平台兼容性，外部依赖极少。

提出的方法

• 使用因子图建模非线性最小二乘问题，误差函数通过鲁棒核函数和信息矩阵定义。
• 采用 Levenberg-Marquardt 优化算法，通过在局部点处使用雅可比矩阵进行迭代线性化。
• 应用 Cholesky、LDLT 或 PCG 分解求解法方程 JTJΔx = JTb。
• 通过局部坐标图和收缩操作支持通用流形，使用基于特性（traits-based）的 C++ 模板特化实现可扩展性。
• 通过 PyBind11 暴露完整的 Python/NumPy API，实现与 Python 项目的无缝集成。
• 集成多种稀疏线性求解器，包括 Eigen、CHOLMOD 和 CUDA cuSOLVER，支持灵活的性能调优。

实验结果

研究问题

• RQ1 一个轻量级、可从 Python 访问的框架是否能在非线性最小二乘优化中实现与 Ceres 和 g2o 等成熟 C++ 库相当的性能？
• RQ2 在动态内存分配和 Python 兼容性设计选择上的权衡，对优化任务的运行时性能有何影响？
• RQ3 在 miniSAM 中，GPU 加速的稀疏求解器（如 cuSOLVER）在大规模问题上能带来多大性能提升？
• RQ4 与 GTSAM 相比，miniSAM 在自定义流形和损失函数支持方面在可用性和可扩展性上表现如何？
• RQ5 使用 Python 绑定对基于 C++ 的优化框架的性能影响如何，尤其是在最小运行时开销的前提下？

主要发现

• 当使用相同的稀疏线性求解器（如 CHOLMOD）时，miniSAM 的优化时间与 Ceres 和 g2o 相当，仅存在少量性能开销。
• 在 2D 位姿图（M3500）上，miniSAM 搭配 CHOLMOD 耗时 0.090 秒，略慢于 g2o 的 0.059 秒，但快于使用顺序 Cholesky 的 GTSAM（0.207 秒）。
• 在 3D 位姿图（Torus）上，miniSAM 搭配 CHOLMOD 耗时 1.107 秒，优于使用顺序 Cholesky 的 GTSAM（2.836 秒），且与使用 CHOLMOD 的 g2o（0.821 秒）持平。
• CUDA cuSOLVER 求解器表现出较高的启动延迟（350ms），在小规模问题上慢于基于 CPU 的 CHOLMOD，因此仅适用于大规模问题。
• 尽管设计选择偏向 Python 兼容性（动态分配、无原始指针），miniSAM 在多种 SLAM 问题上仍保持强劲性能，证明其在原型设计中的实际可行性。