[论文解读] L1-norm Error Function Robustness and Outlier Regularization

Chris Ding, Bo Jiang|arXiv (Cornell University)|May 28, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 10

一句话总结

本文提出了一种异常值正则化框架，用以解释在存在异常值时L1-范数误差函数的鲁棒性。通过独立建模异常值并使用L1的连续等价形式，该方法实现了新的鲁棒PCA变体（ORPCA），避免了奇异值抑制，保留了小的高秩分量，并在计算效率上优于基于迹范数的方法。

ABSTRACT

In many real-world applications, data come with corruptions, large errors or outliers. One popular approach is to use L1-norm function. However, the robustness of L1-norm function is not well understood so far. In this paper, we present a new outlier regularization framework to understand and analyze the robustness of L1-norm function. There are two main features for the proposed outlier regularization. (1) A key property of outlier regularization is that how far an outlier lies away from its theoretically predicted value does not affect the final regularization and analysis results. (2) Another important feature of outlier regularization is that it has an equivalent continuous representation that closely relates to L1 function. This provides a new way to understand and analyze the robustness of L1 function. We apply our outlier regularization framework to PCA and propose an outlier regularized PCA (ORPCA) model. Comparing to the trace-normbased robust PCA, ORPCA has several benefits: (1) It does not suffer singular value suppression. (2) It can retain small high rank components which help retain fine details of data. (3) ORPCA can be computed more efficiently.

研究动机与目标

• 理解在存在异常值时L1-范数误差函数的鲁棒性，该问题在实践中仍理解不足。
• 开发一种新的异常值正则化框架，将异常值建模与核心数据拟合解耦。
• 为异常值污染下L1-范数行为提供一种连续且可分析处理的表示形式。
• 将该框架应用于PCA，得到一种新的鲁棒PCA模型（ORPCA），具有改进的结构和计算特性。
• 克服基于迹范数的鲁棒PCA的局限性，如奇异值抑制和细小细节的丢失。

提出的方法

• 提出一种异常值正则化框架，其中每个数据点被分解为干净分量和异常值分量，且异常值被独立建模。
• 定义一个正则化项，惩罚异常值偏差的大小，而不依赖于其与预测值的距离。
• 通过异常值正则化框架建立L1-范数函数的连续等价表示，以实现分析上的可处理性。
• 通过将异常值正则化整合到PCA目标函数中，构建一种异常值正则化PCA（ORPCA）模型。
• 使用交替最小化算法求解ORPCA优化问题，交替更新低秩分量和异常值分量。
• 通过设计避免奇异值抑制，并保留小的高秩分量。

实验结果

研究问题

• RQ1 L1-范数误差函数为何对异常值具有鲁棒性，其潜在机制是什么？
• RQ2 如何将异常值影响独立于其大小进行建模，以确保正则化的稳定性？
• RQ3 能否通过异常值正则化推导出L1-范数的连续表示，以改善分析理解？
• RQ4 所提出的ORPCA模型是否在保留数据结构和计算效率方面优于基于迹范数的鲁棒PCA？
• RQ5 ORPCA能否保留传统鲁棒PCA方法中通常被抑制的小的高秩分量？

主要发现

• 所提出的异常值正则化框架为理解L1-范数鲁棒性提供了新的分析基础，且不依赖于异常值与预测值的距离。
• 该框架的连续等价形式能紧密逼近L1-范数，从而支持严格的分析与优化。
• ORPCA避免了奇异值抑制，保留了数据中微小但信息丰富的高秩分量。
• ORPCA保留了在基于迹范数的鲁棒PCA方法中常被丢失的细小数据特征。
• 由于其优化结构，ORPCA模型在计算效率上优于基于迹范数的替代方法。
• 实证结果证实，ORPCA在处理异常值的同时能更好地保持数据保真度，优于现有鲁棒PCA方法。