[论文解读] L1-Optimal Splines for Outlier Rejection

Masaaki Nagahara, Clyde F. Martin|arXiv (Cornell University)|Aug 2, 2013

Mathematical Approximation and Integration参考文献 14被引用 5

一句话总结

本文提出了一种基于L¹-最优控制理论样条的鲁棒异常值剔除方法，通过使用L¹回归替代传统的L²优化，以处理重尾噪声分布。通过将样条估计建模为受支持向量回归启发的凸优化问题，该方法在异常值存在的情况下表现出显著的鲁棒性。数值示例表明，L¹-优化样条在存在异常数据点时优于L²-优化样条。

ABSTRACT

In this article, we consider control theoretic splines with L1 optimization for rejecting outliers in data. Control theoretic splines are either interpolating or smoothing splines, depending on a cost function with a constraint defined by linear differential equations. Control theoretic splines are effective for Gaussian noise in data since the estimation is based on L2 optimization. However, in practice, there may be outliers in data, which may occur with vanishingly small probability under the Gaussian assumption of noise, to which L2-optimized spline regression may be very sensitive. To achieve robustness against outliers, we propose to use L1 optimality, which is also used in support vector regression. A numerical example shows the effectiveness of the proposed method.

研究动机与目标

• 解决传统L²-优化控制理论样条在数据中存在异常值时的敏感性问题。
• 在非高斯噪声（尤其是拉普拉斯分布等重尾分布）下提升样条回归的鲁棒性。
• 开发一种利用L¹优化提升异常值鲁棒性的控制理论样条框架。
• 通过凸优化方法提供数值上可处理的解决方案，类比支持向量回归。

提出的方法

• 使用残差的L¹范数替代标准L²范数，将样条估计建模为凸优化问题。
• 引入ε-不敏感损失函数以模拟重尾噪声，灵感来源于支持向量回归。
• 将代价函数定义为系数向量的L²范数与ε-不敏感损失之和之间的权衡。
• 将控制输入表示为基于系统脉冲响应导出的基函数的线性组合。
• 使用标准凸优化技术求解所得优化问题，约束条件用于在预测误差上施加ε-不敏感边界。
• 使用格拉姆矩阵G编码基函数的内积，以实现最优系数的高效计算。

实验结果

研究问题

• RQ1 L¹-优化能否在存在异常值的情况下提升控制理论样条的鲁棒性？
• RQ2 当数据中存在异常值时，L¹-基样条回归与传统的L²-基回归相比表现如何？
• RQ3 使用ε-不敏感损失函数对样条拟合的稳定性和准确性有何影响？
• RQ4 所提出的方法能否通过凸优化技术高效求解？

主要发现

• 在数值示例中，所提出的L¹-最优样条方法相比L²-优化样条表现出显著降低的异常值敏感性。
• 在t₇ = 1.6处存在单个异常值时，L²-优化样条产生了较大的回归误差，而L¹-优化样条仍能保持对真实底层曲线的紧密拟合。
• 即使在数据被污染的情况下，L¹-优化样条仍能实现对真实信号y(t) = sin(2t)更平滑、更准确的重构。
• L¹-优化方法在所有数据点（包括异常值附近）的回归误差均保持较低且稳定。