[论文解读] An Analysis of SVD for Deep Rotation Estimation

Jake Levinson, Carlos Esteves+5 more|arXiv (Cornell University)|Jun 25, 2020

Robotics and Sensor-Based Localization参考文献 42被引用 32

一句话总结

本文 argues that SVDO+ (SVD-based orthogonalization) 将神经网络输出投射到 SO(3) 在理论上是最优的，并在多样的监督和无监督 settings 中的三维旋转估计方面经验上处于State-of-the-art。

ABSTRACT

Symmetric orthogonalization via SVD, and closely related procedures, are well-known techniques for projecting matrices onto $O(n)$ or $SO(n)$. These tools have long been used for applications in computer vision, for example optimal 3D alignment problems solved by orthogonal Procrustes, rotation averaging, or Essential matrix decomposition. Despite its utility in different settings, SVD orthogonalization as a procedure for producing rotation matrices is typically overlooked in deep learning models, where the preferences tend toward classic representations like unit quaternions, Euler angles, and axis-angle, or more recently-introduced methods. Despite the importance of 3D rotations in computer vision and robotics, a single universally effective representation is still missing. Here, we explore the viability of SVD orthogonalization for 3D rotations in neural networks. We present a theoretical analysis that shows SVD is the natural choice for projecting onto the rotation group. Our extensive quantitative analysis shows simply replacing existing representations with the SVD orthogonalization procedure obtains state of the art performance in many deep learning applications covering both supervised and unsupervised training.

研究动机与目标

• 激发在估计 3D 旋转的深度学习模型中，哪种旋转表示最合适的问题。
• 提出 SVDO+（SVD 基于正交化到 SO(3)）作为一种自然且最优的投影方法。
• 提供跨多个任务的理论分析和实证证据（点云对齐、从图像中估计物体姿态、逆向运动学、深度预测）。
• 在监督和无监督设置中，将 SVDO+ 与 Gram-Schmidt 及其他旋转表示进行比较。）

提出的方法

• 将 SVDO(M)=UV^T 和 SVDO+(M)=UΣ′V^T 定义为投射到 O(n) 和 SO(n) 的投影。
• 论证在 SO(n) 投影中，SVDO+ 将到 M 的 Frobenius 范数最小化（在高斯噪声下的最大似然估计）。
• 推导 SVDO/SVDO+ 层的梯度，以展示稳定性和有利的反向传播性质。
• 提供误差分析，表明在高斯噪声（n=3）下，SVDO+ 的重建误差是 Gram-Schmidt 的一半。
• 在任务中对比 6D/5D 表示和经典参数化（四元数、欧拉角、轴角）等表示的基准测试。

实验结果

研究问题

• RQ1 在神经网络中，SVDO+ 是否是对 3D 旋转的自然且最优的投影？
• RQ2 SVDO+ 与 Gram-Schmidt 及其他旋转表示在重建误差和训练稳定性方面有何差异？
• RQ3 SVDO+ 方法是否在监督和无监督的旋转估计任务中达到最先进的性能？
• RQ4 训练过程中 SVDO+ 梯度的理论与经验表现是什么？
• RQ5 SVDO+ 在多样的 3D 旋转任务（如点云对齐、从图像进行姿态估计、逆向运动学和深度预测）的表现如何？

主要发现

• SVDO+ 将到 M 的重建误差最小化在 SO(n) 上，在高斯噪声下是最优的（MLE）。
• 误差分析显示，在 3D 的小高斯扰动下，SVDO 相对于 Gram-Schmidt 的期望误差为一半。
• 基于 SVDO 的方法在四个应用领域以及监督和无监督设置中达到最先进或具竞争力的性能。
• 除了在 det(M)<0 的退化情形或零-极小特征值情形外，SVDO+ 保持平滑且可微，通常在 3D 情况下表现良好。
• SVD-Train（用 SVDO+ 进行训练）在报道的基准测试中，通常优于包括 6D 和许多经典表示在内的替代方案。