[论文解读] Efficient Outlier Removal in Large Scale Global Structure-from-Motion

Fei Wen, Danping Zou+2 more|arXiv (Cornell University)|Aug 9, 2018

Advanced Vision and Imaging参考文献 25被引用 4

一句话总结

本文通过在多视图几何中利用降维，提出两种高效的大规模全局运动恢复结构（SfM）异常值去除方法。这些方法采用凸松弛ℓ₁最小化（通过线性规划求解）和迭代重加权ℓ₀近似，相比ℓ₁方法实现三倍以上的加速，同时在真实和合成数据集上保持或提升了一致集质量。

ABSTRACT

This work addresses the outlier removal problem in large-scale global structure-from-motion. In such applications, global outlier removal is very useful to mitigate the deterioration caused by mismatches in the feature point matching step. Unlike existing outlier removal methods, we exploit the structure in multiview geometry problems to propose a dimension reduced formulation, based on which two methods have been developed. The first method considers a convex relaxed $\ell_1$ minimization and is solved by a single linear programming (LP), whilst the second one approximately solves the ideal $\ell_0$ minimization by an iteratively reweighted method. The dimension reduction results in a significant speedup of the new algorithms. Further, the iteratively reweighted method can significantly reduce the possibility of removing true inliers. Realistic multiview reconstruction experiments demonstrated that, compared with state-of-the-art algorithms, the new algorithms are much more efficient and meanwhile can give improved solution. Matlab code for reproducing the results is available at extit{https://github.com/FWen/OUTLR.git}.

研究动机与目标

• 为解决大规模全局运动恢复结构中因特征匹配错误导致3D重建质量下降的挑战。
• 开发比现有方法（如ℓ₁最小化）更快、更鲁棒的算法，后者在大规模问题上计算成本过高。
• 通过降维降低计算复杂度，同时保持识别内点和去除异常值的高精度。
• 实现在实际大规模3D重建流水线中部署鲁棒异常值去除的可行性。

提出的方法

• 提出一种降维公式，通过利用多视图几何的结构，减少优化问题中的变量数量。
• 引入一个通过单个线性规划（LP）求解的凸松弛ℓ₁最小化问题，实现快速计算。
• 开发一种迭代重加权算法，以近似求解理想的ℓ₀最小化问题，提升内点保留能力。
• 使用非负松弛变量s来建模异常值残差，将最大一致集问题重新表述为稀疏优化框架。
• 在实验中应用深度约束（κ=6），以提高真实数据集中的稳定性和减少过拟合。
• 采用参数q∈{0.1,0.2,0.5}的重加权方案，迭代增强ℓ₀近似中的稀疏性和收敛性。

实验结果

研究问题

• RQ1 多视图几何中的降维是否能显著降低大规模SfM异常值去除中的计算复杂度？
• RQ2 所提出的基于ℓ₁的方法与当前最先进的ℓ₁方法相比，在速度和一致集质量方面表现如何？
• RQ3 迭代重加权ℓ₀近似方法是否能在保持高效率的同时保留更多真实内点？
• RQ4 所提出的方法在大规模真实世界SfM数据集中，相较于现有确定性和随机化算法，优势有多大？

主要发现

• 所提出的基于ℓ₁的方法（算法1）比当前最先进的ℓ₁方法快三倍以上，变量数量显著减少（例如，在大教堂数据集中从327,201减少到96,976）。
• 算法1在重投影误差的均方根误差（RMSE）方面表现相当（例如，大教堂数据集为1.28像素），同时比ℓ₁方法去除的异常值更少。
• 采用K=2次迭代的迭代重加权方法（算法2）达到与ℓ₁方法相当的一致集大小，但运行速度远快于ℓ₁方法，在运行时间上实现了三倍加速。
• 在房屋数据集中，算法1将重投影RMSE从4.76像素降低到1.28像素，证明了其高效的异常值去除能力。
• 算法2去除的异常值显著少于其他方法，但保持了高内点保留率，降低了误删真实内点的风险。
• 在合成实验中，算法在10次迭代内收敛，算法2仅需2–5次迭代即可达到良好性能。