[论文解读] Minimum Distance Estimation for Robust High-Dimensional Regression

Aurélie Lozano, Nicolai Meinshausen|arXiv (Cornell University)|Jul 11, 2013

Statistical Methods and Inference参考文献 30被引用 6

一句话总结

本文提出最小距离Lasso（MD-Lasso），一种鲁棒的高维回归方法，结合最小距离函数与l1-正则化，以抵抗异常值。该方法通过一阶优化实现几何收敛，并在误差分布条件较弱时保持一致性，且随着缩放参数增大，性能趋近于最小二乘Lasso。

ABSTRACT

We propose a minimum distance estimation method for robust regression in sparse high-dimensional settings. The traditional likelihood-based estimators lack resilience against outliers, a critical issue when dealing with high-dimensional noisy data. Our method, Minimum Distance Lasso (MD-Lasso), combines minimum distance functionals, customarily used in nonparametric estimation for their robustness, with l1-regularization for high-dimensional regression. The geometry of MD-Lasso is key to its consistency and robustness. The estimator is governed by a scaling parameter that caps the influence of outliers: the loss per observation is locally convex and close to quadratic for small squared residuals, and flattens for squared residuals larger than the scaling parameter. As the parameter approaches infinity, the estimator becomes equivalent to least-squares Lasso. MD-Lasso enjoys fast convergence rates under mild conditions on the model error distribution, which hold for any of the solutions in a convexity region around the true parameter and in certain cases for every solution. Remarkably, a first-order optimization method is able to produce iterates very close to the consistent solutions, with geometric convergence and regardless of the initialization. A connection is established with re-weighted least-squares that intuitively explains MD-Lasso robustness. The merits of our method are demonstrated through simulation and eQTL data analysis.

研究动机与目标

• 解决在存在异常值的高维、噪声数据中，传统基于似然的估计器缺乏鲁棒性的问题。
• 开发一种在误差分布受污染的情况下，仍能在稀疏高维设置中保持一致性和高效性的方法。
• 确保优化过程无论初始值如何，均能实现快速收敛。
• 建立MD-Lasso与重加权最小二乘法之间的联系，以直观解释其鲁棒性。
• 通过模拟实验与真实eQTL数据分析，验证方法的实证有效性。

提出的方法

• MD-Lasso使用最小距离泛函，其损失函数在残差较小时为局部凸且二次，超过缩放参数后趋于平坦，从而限制异常值的影响。
• 该方法引入l1-正则化，以在高维回归模型中强制实现稀疏性。
• 损失函数的设计使得当缩放参数趋于无穷大时，MD-Lasso收敛至最小二乘Lasso。
• 采用一阶优化方法，无论初始值如何，均能实现对一致解的几何收敛。
• 估计器的几何结构确保了在真实参数周围凸性区域内的解具有一致性。
• 建立了与重加权最小二乘法的联系，通过残差的自适应加权解释了MD-Lasso的鲁棒性。

实验结果

研究问题

• RQ1 基于最小距离的估计器结合l1-正则化，能否在异常值污染的高维回归中实现鲁棒性？
• RQ2 MD-Lasso方法在误差分布假设较弱时，是否仍能保持一致性和快速收敛？
• RQ3 一阶优化方法是否能可靠地收敛至MD-Lasso的一致解，且与初始化无关？
• RQ4 在模型设定错误的情况下，MD-Lasso估计器与传统最小二乘Lasso相比，在鲁棒性和效率方面表现如何？
• RQ5 MD-Lasso与重加权最小二乘法在残差加权方式与鲁棒性方面存在何种关系？

主要发现

• 在误差分布条件较弱（如重尾或受污染）时，MD-Lasso仍能实现快速收敛速率。
• 对于真实参数周围凸性区域内的任意解，估计器均保持一致；在某些情况下，对所有解也保持一致。
• 一阶优化方法生成的迭代序列与一致解极为接近，且收敛速度为几何级，与初始化无关。
• 该方法的鲁棒性可通过与重加权最小二乘法的联系加以解释，即大残差被自动降低权重。
• 模拟实验与eQTL数据分析结果证实，MD-Lasso在存在异常值时的性能优于标准Lasso。
• 随着缩放参数增大，MD-Lasso渐近趋近于最小二乘Lasso估计器，验证了其在极限情况下的收敛一致性。