[论文解读] Asymptotic behavior of unregularized and ridge-regularized high-dimensional robust regression estimators : rigorous results

Noureddine El Karoui|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 85

一句话总结

本文在 $ p/n \to c \in (0, \infty) $ 的设定下，严格建立了高维稳健回归估计量（包括无正则化和岭正则化）的渐近行为。利用随机矩阵理论、测度集中工具和凸分析，证明了估计量的极限分布依赖于比值 $ p/n $，并以严格的数学论证验证了先前基于概率的启发式猜想，即使在非高斯设计下也成立。

ABSTRACT

We study the behavior of high-dimensional robust regression estimators in the asymptotic regime where $p/n$ tends to a finite non-zero limit. More specifically, we study ridge-regularized estimators, i.e $\widehatβ= ext{argmin}_{β\in \mathbb{R}^p} \frac{1}{n}\sum_{i=1}^n ρ(\varepsilon_i-X_i' β)+\fracτ{2}\lVertβ Vert^2$. In a recently published paper, we had developed with collaborators probabilistic heuristics to understand the asymptotic behavior of $\widehatβ$. We give here a rigorous proof, properly justifying all the arguments we had given in that paper. Our proof is based on the probabilistic heuristics we had developed, and hence ideas from random matrix theory, measure concentration and convex analysis. While most the work is done for $τ>0$, we show that under some extra assumptions on $ρ$, it is possible to recover the case $τ=0$ as a limiting case. We require that the $X_i$'s be i.i.d with independent entries, but our proof handles the case where these entries are not Gaussian. A 2-week old paper of Donoho and Montanari [arXiv:1310.7320] studied a similar problem by a different method and with a different point of view. At this point, their interesting approach requires Gaussianity of the design matrix.

研究动机与目标

• 在 $ p/n \to c \in (0, \infty) $ 的设定下，严格证明先前提出的高维稳健回归估计量的概率启发式猜想。
• 在具有非高斯分量的一般 i.i.d. 设计矩阵下，建立岭正则化 M-估计量的渐近行为。
• 在损失函数 $ \rho $ 的额外正则性假设下，将结果推广至无正则化情形（$ \tau = 0 $）。
• 为从早期启发式分析中浮现的变分问题公式提供正式的数学基础。
• 证明估计量的极限行为非平凡地依赖于维度比 $ p/n $，与经典固定-$ p $ 渐近理论相反。

提出的方法

• 采用留一法与鞅技巧分析高维设定下估计量的行为。
• 利用测度集中与随机矩阵理论控制涉及设计矩阵的二次型的波动。
• 应用近端映射框架，通过次梯度条件刻画优化问题的解。
• 推导出一个关键的变分问题，该问题基于误差分布与损失函数 $ \rho $ 的特性，刻画了估计量的极限行为。
• 利用 Sherman-Morrison-Woodbury 公式与分块矩阵求逆方法，分析涉及正则化精度矩阵的迹表达式。
• 在误差密度与损失函数 $ \rho $ 满足弱正则性条件时，证明了渐近表征中出现的临界方程 $ F(x) = 0 $ 的解的存在性与唯一性。

实验结果

研究问题

• RQ1 在高维设定下，岭正则化稳健回归估计量的渐近分布如何依赖于比值 $ p/n $？
• RQ2 先前工作中提出的概率启发式能否通过随机矩阵理论与测度集中理论的严格工具加以形式化证明？
• RQ3 在损失函数 $ \rho $ 与误差分布满足何种条件下，可将无正则化情形（$ \tau = 0 $）视为岭正则化情形的极限？
• RQ4 结果在多大程度上可推广至非高斯设计矩阵？对非高斯 i.i.d. 入口需要哪些假设？
• RQ5 估计量的极限行为如何与损失函数 $ \rho $ 的近端映射相关联？误差分布在此中起何作用？

主要发现

• 岭正则化估计量的极限行为依赖于一个涉及 $ \rho $ 近端映射的变分问题，该依赖关系非平凡地体现于 $ p/n $。
• 本文严格证明了估计量的渐近分布由一个涉及误差累积分布函数与损失函数 $ \rho $ 的确定性方程的解所刻画。
• 对于非高斯 i.i.d. 设计矩阵，只要满足温和的矩与尾部条件，极限行为依然可处理，突破了以往研究中对高斯假设的依赖。
• 在 $ \rho $ 额外满足光滑性与对称性假设时，无正则化情形（$ \tau = 0 $）可作为岭正则化估计量的极限情形被恢复。
• 正则化精度矩阵的迹收敛至一个依赖于 $ p/n $ 的确定性极限，且通过矩阵求逆恒等式导出了显式界。
• 控制渐近行为的方程 $ F(x) = 0 $ 的解在误差密度与损失函数 $ \rho $ 满足弱正则性条件时唯一。