[论文解读] Learning from MOM's principles: Le Cam's approach

Guillaume Lecué, Lerasle Matthieu|arXiv (Cornell University)|Jan 8, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 8

一句话总结

该论文提出了一种基于 Le Cam 方法的鲁棒估计框架，采用正则化中位数-均值（MOM）检验，在弱矩假设和高污染条件下实现了最优的估计误差率。该方法确保了与 i.i.d. 设置下极小化率和异常值比例成比例的指数高概率风险界，从而在高达 $ C_1 s\log(ed/s) $ 个数据点被任意破坏时，仍能实现稀疏信号的鲁棒恢复。

ABSTRACT

We obtain estimation error rates for estimators obtained by aggregation of regularized median-of-means tests, following a construction of Le Cam. The results hold with exponentially large probability -- as in the gaussian framework with independent noise- under only weak moments assumptions on data and without assuming independence between noise and design. Any norm may be used for regularization. When it has some sparsity inducing power we recover sparse rates of convergence. The procedure is robust since a large part of data may be corrupted, these outliers have nothing to do with the oracle we want to reconstruct. Our general risk bound is of order \begin{equation*} \max\left(\mbox{minimax rate in the i.i.d. setup}, \frac{ ext{number of outliers}}{ ext{number of observations}} ight) \enspace. \end{equation*}In particular, the number of outliers may be as large as (number of data) $ imes$(minimax rate) without affecting this rate. The other data do not have to be identically distributed but should only have equivalent $L^1$ and $L^2$ moments. For example, the minimax rate $s \log(ed/s)/N$ of recovery of a $s$-sparse vector in $\mathbb{R}^d$ is achieved with exponentially large probability by a median-of-means version of the LASSO when the noise has $q_0$ moments for some $q_0>2$, the entries of the design matrix should have $C_0\log(ed)$ moments and the dataset can be corrupted up to $C_1 s \log(ed/s)$ outliers.

研究动机与目标

• 开发一种鲁棒的统计估计程序，即使在数据包含重尾或对抗性异常值时，也能保持最优收敛速率。
• 将 Le Cam 的经典估计框架扩展至中位数-均值检验，从而可使用标准损失函数（如平方损失）。
• 建立对任意污染具有鲁棒性的风险界，其中异常值数量可与极小化率成比例而性能不下降。
• 统一 MOM 比赛与 Le Cam 估计器的分析，表明基于 MOM 的估计器在这些比赛中表现卓越。
• 在仅对噪声和设计矩阵施加矩条件的前提下，实现高维设置下（如 LASSO 类问题）的稀疏恢复速率。

提出的方法

• 采用基于成对比较的 Le Cam 一般估计框架，通过检验统计量 $ T_N(g,f) $ 定义函数 $ \\_B_{T_N}(f) \$，即比 $ f $ 更受青睐的函数集合。
• 通过 $ K $-折数据划分构造正则化中位数-均值（MOM）检验，以在凸类 $ F $ 中比较函数，并计算鲁棒的经验均值。
• 将最终估计器 $ \hat{f}_{K,\lambda}^{(j)} $ 定义为集合 $ \mathcal{B}_{K,\lambda}(f) $ 的直径最小化器，以确保对异常值的鲁棒性。
• 采用两阶段程序：首先估计候选估计量 $ \hat{f}_{K,\lambda}^{(1)} $，然后通过第二轮基于 MOM 的最小化过程进行精炼，以改善风险控制。
• 在事件 $ \Omega_{\text{iso}}(K) $ 上使用集中不等式和等周型论证，控制估计误差的 $ L^2_P $-范数。
• 通过链式法和矩条件推导风险界：要求噪声具有 $ q_0 > 2 $ 阶矩，设计矩阵元素具有 $ C_0 \log(ed) $ 阶矩。

实验结果

研究问题

• RQ1 Le Cam 的估计框架能否被适配至中位数-均值检验，以在弱矩假设下实现鲁棒性？
• RQ2 当数据受最多 $ K_o $ 个异常值破坏时，正则化 MOM 估计器的最优估计误差率是多少？
• RQ3 异常值数量如何影响收敛速率？是否可与极小化率成比例而不降低性能？
• RQ4 在仅施加矩条件的前提下，能否通过基于 MOM 的 LASSO 实现稀疏恢复速率（如 $ s\log(ed/s)/N $）？
• RQ5 MOM 比赛与 Le Cam 的一般构造之间是否存在直接联系？该联系能否被用于简化现有鲁棒估计器？

主要发现

• 所提出的估计器实现了阶为 $ \max(\text{minimax rate}, \, K_o / N) $ 的估计误差界，其中 $ K_o $ 为异常值数量。
• 当 $ K_o \leq C_1 s\log(ed/s) $ 时，估计器在 $ \mathbb{R}^d $ 中稀疏向量恢复中恢复了极小化率 $ s\log(ed/s)/N $，即使在重尾噪声下亦成立。
• 在仅要求噪声具有 $ q_0 > 2 $ 阶矩、设计矩阵元素具有 $ C_0 \log(ed) $ 阶矩的条件下，风险界以指数高概率 $ 1 - c_0 \exp(-c_1 K) $ 成立。
• 该方法实现了阶为 $ 340 \theta_0 \theta_r r(\rho_K) $ 的 $ L^2_P $-估计误差，其中显式常数由等周性和集中性推导得出。
• 最终估计器 $ \hat{f}_{\text{LE}}^{(2)} $ 几乎必然位于以真实最小化器 $ f^* $ 为中心、半径为 $ 2\rho_K $ 的球内。
• 该方法对任意污染具有鲁棒性：异常值可来自任意分布（甚至无矩分布），估计器仍保持一致。