[论文解读] LS-Net: Learning to Solve Nonlinear Least Squares for Monocular Stereo

Ronald Clark, Michael Bloesch+3 more|arXiv (Cornell University)|Sep 9, 2018

Advanced Vision and Imaging参考文献 23被引用 22

一句话总结

LS-Net 提出了一种可端到端训练的神经优化器，通过从数据中隐式学习先验，来求解单目立体视觉中的非线性最小二乘问题，在高噪声、欠定的复杂问题上，其精度、速度和鲁棒性均优于传统方法（如 Levenberg-Marquardt）。

ABSTRACT

Sum-of-squares objective functions are very popular in computer vision algorithms. However, these objective functions are not always easy to optimize. The underlying assumptions made by solvers are often not satisfied and many problems are inherently ill-posed. In this paper, we propose LS-Net, a neural nonlinear least squares optimization algorithm which learns to effectively optimize these cost functions even in the presence of adversities. Unlike traditional approaches, the proposed solver requires no hand-crafted regularizers or priors as these are implicitly learned from the data. We apply our method to the problem of motion stereo ie. jointly estimating the motion and scene geometry from pairs of images of a monocular sequence. We show that our learned optimizer is able to efficiently and effectively solve this challenging optimization problem.

研究动机与目标

• 为解决单目立体重建中病态、高噪声的非线性最小二乘问题的优化挑战。
• 通过从数据中隐式学习，消除对手工设计正则化项和先验的依赖。
• 开发一种可微分的、端到端可训练的优化器，以提升光度优化中的收敛性和鲁棒性。
• 实现在单目序列中联合估计运动与深度，同时保持高光度一致性。
• 在大规模、欠定问题上，超越经典求解器（如 Levenberg-Marquardt）在精度、速度和内存效率方面的表现。

提出的方法

• LS-Net 是一种深度神经网络，可直接从残差和雅可比矩阵中学习优化更新，替代传统高斯-牛顿或 Levenberg-Marquardt 步骤。
• 该网络在合成数据上进行端到端训练，以最小化光度误差，隐式学习有效的正则化。
• 采用循环结构处理多轮优化迭代，逐步改进深度和运动估计。
• 该方法作用于整幅图像，利用所有像素的光度残差以提升重建质量。
• 优化器设计为参数高效且快速，推理时间显著快于标准方法中的矩阵求逆。
• 将传统优化结构（如海森矩阵近似）与神经学习相结合，以平衡精度与鲁棒性。

实验结果

研究问题

• RQ1 所学习的优化器是否能在单目立体视觉中，于精度和收敛速度上超越经典非线性最小二乘求解器（如 Levenberg-Marquardt）？
• RQ2 神经网络是否能在无显式监督的情况下，隐式学习病态非线性最小二乘问题的有效先验和正则化？
• RQ3 该优化器在不同问题规模（小、中、大）和噪声水平下的性能表现如何？
• RQ4 该方法是否能在具有宽基线的真实单目序列中实现高光度一致性和准确的深度估计？
• RQ5 与现有基于学习的方法和经典方法相比，模型大小、推理速度与优化精度之间的权衡如何？

主要发现

• LS-Net 在 KITTI、RGB-D 和 Sun3D 数据集上的所有评估指标中均表现最佳，优于 SIFT、FF、MATLAB 和 DeMoN 基线方法。
• 在 KITTI 数据集上，LS-Net 的 L1-相对深度误差为 0.210，平移误差为 8.21，显著优于 DeMoN（0.248 和 8.918）。
• 对于大规模、欠定问题（如 128×96 图像），LS-Net 将每轮优化时间从 Levenberg-Marquardt 的 532ms 降低至 25ms，同时提升收敛性和精度。
• LS-Net 的参数效率超过 DeMoN 三倍以上（1140 万 vs. 4570 万参数），尽管需计算大雅可比矩阵，其推理速度仍快 1.5 倍。
• 消融实验表明，15 轮优化步骤达到最佳性能，L1-相对深度误差降至 0.210，平移误差降至 8.21。
• 与 DeMoN 的 RNN 优化网络相比，LS-Net 在参数更少、推理更快的前提下，实现了更好或相当的性能。