[论文解读] Learning how to be robust: Deep polynomial regression

Juan-Manuel Pérez-Rúa, Tomás Crivelli+2 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging参考文献 40被引用 3

一句话总结

该论文提出了一种基于可微分硬连线多项式解码器的深度学习框架，用于鲁棒多项式回归，无需监督标注。通过在含异常值的合成数据上进行训练，并在解码输出上优化损失函数，模型能够泛化到真实世界数据，在视频稳定化任务中优于传统鲁棒回归方法。

ABSTRACT

Polynomial regression is a recurrent problem with a large number of applications. In computer vision it often appears in motion analysis. Whatever the application, standard methods for regression of polynomial models tend to deliver biased results when the input data is heavily contaminated by outliers. Moreover, the problem is even harder when outliers have strong structure. Departing from problem-tailored heuristics for robust estimation of parametric models, we explore deep convolutional neural networks. Our work aims to find a generic approach for training deep regression models without the explicit need of supervised annotation. We bypass the need for a tailored loss function on the regression parameters by attaching to our model a differentiable hard-wired decoder corresponding to the polynomial operation at hand. We demonstrate the value of our findings by comparing with standard robust regression methods. Furthermore, we demonstrate how to use such models for a real computer vision problem, i.e., video stabilization. The qualitative and quantitative experiments show that neural networks are able to learn robustness for general polynomial regression, with results that well overpass scores of traditional robust estimation methods.

研究动机与目标

• 开发一种通用的、无监督的深度学习方法，用于多项式回归，训练过程中无需真实系数标注。
• 解决多项式回归中结构化异常值的挑战，这些异常值会偏差经典方法（如最小二乘法和RANSAC）的性能。
• 探究深度神经网络是否能在不预先假设异常值分布或比例的情况下，学习到对污染的鲁棒性。
• 比较在解码输出上应用损失函数与在估计的多项式系数上应用损失函数在提升泛化能力方面的有效性。
• 展示该方法在真实世界计算机视觉任务中的适用性，例如参数化运动估计和视频稳定化。

提出的方法

• 根据输入维度（标量或向量场回归）使用堆叠沙漏架构配合一维或二维卷积，实现多尺度空间推理。
• 采用基于模型的自编码器，结合一维/二维卷积和批量归一化，以提取特征并回归多项式系数。
• 引入一种可微分的、硬连线的多项式解码器，将预测的系数映射回输入数据空间，实现无需系数监督的端到端训练。
• 使用含受控污染的合成数据集（Data 1 和 Data 2）进行网络训练：高斯噪声和结构化多边形异常值。
• 在解码输出上应用标准L2损失和鲁棒损失函数（如Huber损失），以提升在污染环境下的泛化能力。
• 通过在线数据生成模拟多样化的异常值模式，避免依赖真实标注数据集。

实验结果

研究问题

• RQ1 在仅使用合成污染数据训练的前提下，深度神经网络是否能学习到无需任何真实系数监督的鲁棒多项式回归？
• RQ2 在解码输出（即重建信号）上优化损失是否比直接在估计的多项式系数上优化能带来更好的泛化性能？
• RQ3 在存在结构化异常值的情况下，该网络的性能与经典鲁棒回归方法（如RANSAC和M-估计器）相比如何？
• RQ4 在复杂真实世界噪声和遮挡条件下，仅在合成数据上训练的模型在真实世界视频稳定化任务中能多大程度上实现泛化？
• RQ5 哪些架构组件（如多尺度处理、空间感知）对于实现多项式回归的鲁棒性至关重要？

主要发现

• 与标准鲁棒回归方法（如RANSAC和M-估计器）相比，所提模型在具有结构化异常值的多项式回归任务中表现更优。
• 在解码输出（即重建信号）上应用损失函数的训练方式，相比直接在多项式系数上优化，能带来更好的泛化性能。
• 在30%异常值比例的合成数据（Data 2）上训练的模型，无需额外微调即可有效泛化到真实视频稳定化任务，生成高质量结果。
• 使用可微分的、硬连线多项式解码器，实现了无需标注系数的端到端训练，使该方法具备可扩展性和无监督特性。
• 结合多尺度和空间感知卷积的堆叠沙漏网络，能有效学习抑制结构化异常值并保留多项式结构。
• 该方法在全局运动估计和视频稳定化任务中达到最先进性能，在定性和定量评估中均优于经典方法。