[论文解读] CGA-PoseNet: Camera Pose Regression via a 1D-Up Approach to Conformal Geometric Algebra

Alberto Pepe, Joan Lasenby|arXiv (Cornell University)|Feb 10, 2023

Optical measurement and interference techniques被引用 4

一句话总结

CGA-PoseNet 提出了一种新颖的相机位姿回归方法，利用共形几何代数（CGA）与1D-Up方法，将旋转与平移统一为单一的运动器表示，实现端到端训练，并采用简单的均方误差（MSE）损失。该方法在仅使用图像的数据集上实现了最先进精度，无需3D点标注或复杂的损失加权。

ABSTRACT

We introduce CGA-PoseNet, which uses the 1D-Up approach to Conformal Geometric Algebra (CGA) to represent rotations and translations with a single mathematical object, the motor, for camera pose regression. We do so starting from PoseNet, which successfully predicts camera poses from small datasets of RGB frames. State-of-the-art methods, however, require expensive tuning to balance the orientational and translational components of the camera pose.This is usually done through complex, ad-hoc loss function to be minimized, and in some cases also requires 3D points as well as images. Our approach has the advantage of unifying the camera position and orientation through the motor. Consequently, the network searches for a single object which lives in a well-behaved 4D space with a Euclidean signature. This means that we can address the case of image-only datasets and work efficiently with a simple loss function, namely the mean squared error (MSE) between the predicted and ground truth motors. We show that it is possible to achieve high accuracy camera pose regression with a significantly simpler problem formulation. This 1D-Up approach to CGA can be employed to overcome the dichotomy between translational and orientational components in camera pose regression in a compact and elegant way.

研究动机与目标

• 为解决相机位姿回归中旋转与平移分量之间平衡的挑战，传统方法通常需要复杂且依赖数据集的损失加权方案。
• 利用共形几何代数（CGA）与1D-Up构造，将旋转与平移统一为单一数学对象——运动器。
• 仅使用RGB图像和简单的MSE损失，实现高精度相机位姿回归，无需3D点标注或几何重投影损失。
• 证明CGA中具有良好行为的4D欧几里得空间表示可简化训练过程，并在小样本数据集上提升泛化能力。

提出的方法

• 在1D-Up共形几何代数中将相机位姿表示为运动器，该空间为4D欧几里得签名空间，所有基向量的平方均为+1。
• 使用单一的8参数运动器同时编码旋转与平移，消除了对方向与位置分别表示的需求。
• 在预测运动器与真实运动器之间应用标准均方误差（MSE）损失，避免了复杂且非系统的损失加权方案。
• 训练一种改进的PoseNet架构，直接从RGB图像输入回归运动器，无需依赖3D场景几何信息。
• 通过共形变换将点云投影到球形空间，利用重建点云之间的MSE来验证位姿精度。
• 采用球形空间变换（公式13）以在位姿应用和误差测量过程中保持几何保真度。

实验结果

研究问题

• RQ1 在共形几何代数中使用统一的运动器表示，是否能消除相机位姿回归中旋转与平移之间分离的损失加权需求？
• RQ2 使用具有欧几里得签名的1D-Up CGA框架，是否能实现更简单、更鲁棒的训练，并配合标准MSE损失？
• RQ3 能否仅依赖RGB图像和运动器回归，无需3D点标注，实现高精度相机位姿回归？
• RQ4 基于运动器的方法与使用3D点几何重投影损失的最先进方法相比，性能如何？

主要发现

• CGA-PoseNet 仅使用RGB图像和简单的MSE损失，在13个基准数据集上实现了最先进精度，且无需任何3D点标注。
• 该方法在性能上优于或匹配使用几何重投影损失并依赖超过200万3D点的方法，例如剑桥地标数据集中的方法。
• 位置误差与旋转误差高度相关，证实了运动器表示在两个分量上的统一性与一致性。
• 点云重建实验表明，预测点云与真实点云之间的MSE与表格中报告的位置误差一致，验证了预测运动器的几何保真度。
• 尽管方法简单，其性能仍优于[20]（包含模型不确定性）和[48]（增加LSTM头），证明了其优越性。
• 对于国王学院和商店立面等标志性场景，重建点云之间的中位MSE较低且稳定，与报告的位姿误差一致，证实了在多样化场景下的鲁棒性。