[论文解读] Learning from MOM's principles

Guillaume Lecué, Lerasle Matthieu|arXiv (Cornell University)|Jan 8, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用 1

一句话总结

本文提出了一种用于正则化估计的鲁棒中位数-均值聚合方法，在弱矩条件和高污染水平下实现了极小极大最优速率。该方法即使在依赖性或重尾数据下，也能以指数高概率成功，最多可容忍 $ C_1 s "log(ed/s) $ 个异常值，并在正则化诱导稀疏性时恢复稀疏恢复速率。

ABSTRACT

We obtain estimation error rates for estimators obtained by aggregation of regularized median-of-means tests, following a construction of Le Cam. The results hold with exponentially large probability -- as in the gaussian framework with independent noise- under only weak moments assumptions on data and without assuming independence between noise and design. Any norm may be used for regularization. When it has some sparsity inducing power we recover sparse rates of convergence. The procedure is robust since a large part of data may be corrupted, these outliers have nothing to do with the oracle we want to reconstruct. Our general risk bound is of order \begin{equation*} \max\left(\mbox{minimax rate in the i.i.d. setup}, \frac{ ext{number of outliers}}{ ext{number of observations}} ight) \enspace. \end{equation*}In particular, the number of outliers may be as large as (number of data) $ imes$(minimax rate) without affecting this rate. The other data do not have to be identically distributed but should only have equivalent $L^1$ and $L^2$ moments. For example, the minimax rate $s \log(ed/s)/N$ of recovery of a $s$-sparse vector in $\mathbb{R}^d$ is achieved with exponentially large probability by a median-of-means version of the LASSO when the noise has $q_0$ moments for some $q_0>2$, the entries of the design matrix should have $C_0\log(ed)$ moments and the dataset can be corrupted up to $C_1 s \log(ed/s)$ outliers.

研究动机与目标

• 开发一种鲁棒估计程序，在数据和噪声的弱矩假设下保持极小极大收敛速率。
• 在不降低估计性能的前提下，处理被大量异常值污染的数据集。
• 将 Le Cam 的中位数-均值框架扩展至 LASSO 等正则化估计器，以实现稀疏恢复。
• 建立风险界，使其随异常值数量的增加而平稳增长，且独立于其大小或分布。
• 确保该方法在最小 i.i.i.d. 假设下仍有效，仅需数据点之间 $ L^1 $ 和 $ L^2 $ 矩等价。

提出的方法

• 该方法通过正则化中位数-均值检验的聚合构建估计器，遵循 Le Cam 的方法。
• 采用中位数-均值框架以降低方差，并提高对重尾或污染数据的鲁棒性。
• 使用任意范数进行正则化，其中稀疏性诱导范数（如 L1）可实现稀疏恢复。
• 在弱矩条件下推导风险界：噪声要求 $ q_0 > 2 $，设计矩阵元素要求 $ C_0 \log(ed) $ 阶矩。
• 即使异常值占数据比例与极小极大速率成比例，该程序仍能实现指数高概率成功。
• 该框架允许非 i.i.d. 数据，只要观测值之间 $ L^1 $ 和 $ L^2 $ 矩等价。

实验结果

研究问题

• RQ1 在弱矩假设和高污染水平下，中位数-均值聚合策略能否实现极小极大最优速率？
• RQ2 在正则化估计器的收敛速率开始退化前，最多可容忍多少异常值？
• RQ3 当正则化诱导稀疏性时，中位数-均值方法是否能保持稀疏恢复速率？
• RQ4 该方法能否在不假设噪声与设计之间独立性的前提下，维持指数高概率性能？
• RQ5 对噪声和设计的何种矩条件足以确保鲁棒估计并实现最优速率？

主要发现

• 一般风险界与 i.i.d. 设置下的极小极大速率以及异常值占总观测数的比例中的最大值成比例。
• 该方法在 $ \mathbb{R}^d $ 中对稀疏向量恢复实现了极小极大速率 $ s \log(ed/s)/N $，且具有指数高概率。
• 最多可容忍 $ C_1 s \log(ed/s) $ 个异常值而不影响收敛速率。
• 噪声仅需 $ q_0 > 2 $ 阶矩，设计矩阵元素需具有 $ C_0 \log(ed) $ 阶矩。
• 当数据非同分布时，只要 $ L^1 $ 和 $ L^2 $ 矩等价，该程序仍保持鲁棒性。
• 在弱矩假设和高异常值容忍下，中位数-均值 LASSO 实现了最优稀疏恢复速率。