[论文解读] Linearly-involved Moreau-Enhanced-over-Subspace Model: Debiased Sparse Modeling and Stable Outlier-Robust Regression

Masahiro Yukawa, Hiroyuki Kaneko+2 more|arXiv (Cornell University)|Jan 10, 2022

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

本文提出线性参与的Moreau增强子空间（LiMES）模型，通过结合Moreau增强惩罚项、子空间投影与鲁棒损失函数，构建了一个统一框架，用于去偏稀疏建模与稳定异常值鲁棒回归。该方法在欠定稀疏恢复与鲁棒回归任务中表现优异，优于LAD、Huber损失和RPGG等现有方法，尤其在高斯噪声与稀疏异常值并存条件下表现更优。

ABSTRACT

We present an efficient mathematical framework based on the linearly-involved Moreau-enhanced-over-subspace (LiMES) model. Two concrete applications are considered: sparse modeling and robust regression. The popular minimax concave (MC) penalty for sparse modeling subtracts, from the $\ell_1$ norm, its Moreau envelope, inducing nearly unbiased estimates and thus yielding remarkable performance enhancements. To extend it to underdetermined linear systems, we propose the projective minimax concave penalty using the projection onto the input subspace, where the Moreau-enhancement effect is restricted to the subspace for preserving the overall convexity. We also present a novel concept of stable outlier-robust regression which distinguishes noise and outlier explicitly. The LiMES model encompasses those two specific examples as well as two other applications: stable principal component pursuit and robust classification. The LiMES function involved in the model is an ``additively nonseparable'' weakly convex function but is defined with the Moreau envelope returning the minimum of a ``separable'' convex function. This mixed nature of separability and nonseparability allows an application of the LiMES model to the underdetermined case with an efficient algorithmic implementation. Two linear/affine operators play key roles in the model: one corresponds to the projection mentioned above and the other takes care of robust regression/classification. A necessary and sufficient condition for convexity of the smooth part of the objective function is studied. Numerical examples show the efficacy of LiMES in applications to sparse modeling and robust regression.

研究动机与目标

• 开发一个统一框架，以增强稀疏建模与回归中的稀疏性与鲁棒性。
• 通过在子空间上对极小极大凹（MC）惩罚项进行Moreau增强，扩展其在欠定系统中的应用，以缓解稀疏估计中的偏差问题。
• 通过显式区分高斯噪声与稀疏异常值，实现在重尾高斯噪声与稀疏异常值共存条件下的稳定回归。
• 建立LiMES模型中目标函数平滑部分的凸性条件。
• 在稀疏恢复、鲁棒回归、稳定主成分追踪与鲁棒分类任务中，验证LiMES模型的有效性。

提出的方法

• 提出投影极小极大凹（PMC）惩罚项，将ℓ₁范数的Moreau包络应用于信号在输入子空间上的投影，从而在欠定系统中实现去偏稀疏解。
• 提出SORR（稀疏异常值鲁棒回归）方法，采用结合MC惩罚项与鲁棒损失的复合损失函数，以区分高斯噪声与稀疏异常值。
• 使用两个线性/仿射算子：ℒ用于子空间投影，𝒜₂用于鲁棒回归/分类，将其嵌入LiMES模型结构中。
• 采用邻近梯度法实现高效算法，利用混合可分性：Moreau包络具有可分性，而LiMES函数为加法不可分。
• 推导出目标函数平滑部分凸性的必要且充分条件，确保收敛性保证。
• 将鲁棒分类中的合页损失表示为支撑函数与仿射算子的复合，整合进LiMES框架。

实验结果

研究问题

• RQ1 能否在保持凸性与降低估计偏差的前提下，将Moreau增强的MC惩罚项扩展至欠定系统？
• RQ2 如何通过显式建模高斯噪声与稀疏异常值，实现鲁棒回归的稳定化？
• RQ3 什么条件能确保LiMES目标函数中平滑分量的凸性？
• RQ4 LiMES模型能否统一稀疏恢复、鲁棒回归与稳定主成分追踪等多样化问题？
• RQ5 在不同异常值与噪声水平下，基于LiMES的SORR方法在鲁棒性与准确性方面相较于LAD、Huber损失与RPGG的定量比较如何？

主要发现

• PMC惩罚项在欠定系统中实现了去偏稀疏恢复，在数值实验中优于广义MC（GMC）方法。
• SORR在低至中等异常值密度下，显著优于LAD、Huber损失与RPGG，表现出更高的准确度与稳定性。
• 当信噪比（SOR）低于-12 dB时，SORR性能提升，表明由于MC损失的饱和效应，其对大异常值具有强鲁棒性。
• 当目标函数的平滑部分为凸时，邻近去偏算法可稳定收敛，且推导出该凸性的必要且充分条件。
• LiMES模型通过将支撑函数与仿射算子的复合形式表达损失函数，成功整合了稳定主成分追踪与鲁棒分类。
• 在300次实验的数值结果中，SORR在高斯噪声与稀疏异常值下仍保持低误差，而RPGG仅在SOR极低（< -40 dB）时因收敛缓慢而性能下降。