[论文解读] Eigendecomposition-free Training of Deep Networks with Zero Eigenvalue-based Losses

Zheng Dang, Kwang Moo Yi+4 more|arXiv (Cornell University)|Mar 21, 2018

Robotics and Sensor-Based Localization参考文献 31被引用 6

一句话总结

本文提出了一种无需特征分解的方法，通过基于网络预测矩阵的零特征值对应的特征向量的损失来训练深度网络。通过构建一种避免显式SVD/ED计算的可微分损失，该方法实现了稳定且收敛的训练，并在关键点匹配和基于PnP的3D姿态估计任务中取得了最先进性能，优于依赖可微分特征分解的方法，后者常因数值不稳定性而无法收敛。

ABSTRACT

Many classical Computer Vision problems, such as essential matrix computation and pose estimation from 3D to 2D correspondences, can be solved by finding the eigenvector corresponding to the smallest, or zero, eigenvalue of a matrix representing a linear system. Incorporating this in deep learning frameworks would allow us to explicitly encode known notions of geometry, instead of having the network implicitly learn them from data. However, performing eigendecomposition within a network requires the ability to differentiate this operation. Unfortunately, while theoretically doable, this introduces numerical instability in the optimization process in practice. In this paper, we introduce an eigendecomposition-free approach to training a deep network whose loss depends on the eigenvector corresponding to a zero eigenvalue of a matrix predicted by the network. We demonstrate on several tasks, including keypoint matching and 3D pose estimation, that our approach is much more robust than explicit differentiation of the eigendecomposition, It has better convergence properties and yields state-of-the-art results on both tasks.

研究动机与目标

• 解决在使用可微分特征分解进行几何约束时，深度网络训练中出现的数值不稳定性和非收敛问题。
• 通过直接整合基于特征向量的损失，而无需显式SVD或特征值分解，实现本质矩阵和PnP解等几何先验的端到端学习。
• 开发一种完全可微分且鲁棒的损失函数，即使在特征值不完全为零或优化过程中特征向量分配发生变化时，也能保持稳定。
• 与标准可微分特征分解方法相比，证明在关键点匹配和3D姿态估计任务中具有更优的收敛性和性能。

提出的方法

• 该方法基于网络预测矩阵的零空间构建损失函数，确保与零特征值相关的特征向量与真实值对齐，而无需计算特征分解。
• 通过矩阵的伪逆实现零空间约束的可微分近似，避免了显式SVD或特征值分解的需要。
• 损失函数源自由矩阵定义的线性系统的残差，通过最小化零空间中向量的范数，对应于所需的特征向量。
• 该方法对噪声和近似零特征值具有鲁棒性，因为现实测量中特征值极少恰好为零。
• 通过反向传播经过伪逆和矩阵运算，将该方法集成到深度学习框架中，确保完全可微分。
• 该框架被应用于关键点匹配和PnP问题，其中网络预测对应关系的权重，损失确保生成的矩阵具有与真实几何解对齐的零空间。

实验结果

研究问题

• RQ1 是否可以训练深度网络，使其生成的矩阵的零空间对应于期望的几何解，而无需依赖可微分特征分解？
• RQ2 避免显式特征分解是否能提升几何深度学习任务中优化的稳定性和收敛性？
• RQ3 基于矩阵零空间的可微分损失是否能在关键点匹配和PnP任务中，于收敛性和准确性方面超越标准基于特征分解的损失？
• RQ4 该方法在现实测量中存在噪声或近似零特征值时，其鲁棒性如何？

主要发现

• 所提出的无特征分解损失实现了稳定收敛，并在关键点匹配任务中取得了最先进性能，优于使用可微分特征分解的方法，后者常因无法收敛而失败。
• 在PnP任务中，即使存在多达130个异常值（占总匹配数的65%），该方法仍实现了接近零的旋转和翻译误差，显著优于REPPnP及其他基线方法，且随着异常值比例增加，优势更加明显。
• 如图7所示，基于显式特征分解的损失无法收敛，而所提方法的损失则平稳收敛并达到低误差值。
• 该方法对噪声和近似零特征值具有鲁棒性，因为其公式不依赖于特征值恰好为零的条件。
• 在关键点匹配和PnP任务中，与EPnP、OPnP、PPnP、RPnP和REPPnP等现代PnP求解器相比，所提方法均取得了更优结果，尤其在高异常值比例下表现更佳。