[论文解读] Lecture Notes: Selected topics on robust statistical learning theory

Matthieu Lerasle|arXiv (Cornell University)|Aug 28, 2019

Advanced Statistical Methods and Models参考文献 20被引用 8

一句话总结

本文提出了一套全面的鲁棒统计学习理论框架，聚焦于次高斯估计量、中位数-均值（MOM）方法以及PAC-Bayesian不等式，旨在在重尾分布和污染数据下实现最优偏差界。该研究提出了一种多项式时间可计算的多元均值估计量，实现了最优的次高斯偏差率，以高概率达到 $± O\left(\sqrt{\frac{\text{Tr}(\Sigma)}{N}} + \sqrt{\frac{\|\Sigma\|_{\text{op}}K}{N}}\right)$ 的偏差。

ABSTRACT

These notes gather recent results on robust statistical learning theory. The goal is to stress the main principles underlying the construction and theoretical analysis of these estimators rather than provide an exhaustive account on this rapidly growing field. The notes are the basis of lectures given at the conference StatMathAppli 2019.

研究动机与目标

• 开发一种鲁棒统计学习理论，确保在重尾分布和污染数据下实现最优偏差界。
• 设计在不假设次高斯或有界矩条件下仍能达到次高斯集中性的估计量。
• 提供一种多项式时间可计算的算法，用于多元均值估计，实现最优统计性能。
• 在统一框架中整合PAC-Bayesian理论、鲁棒统计与极小化极大策略的概念。

提出的方法

• 利用中位数-均值（MOM）估计量实现对异常值和重尾分布的鲁棒性。
• 应用同质性引理与凸松弛技术推导一致集中不等式。
• 采用带自适应阈值的递归算法，实现在近线性时间内计算估计量。
• 利用PAC-Bayesian不等式与修正的对数索博列夫不等式推导高概率界。
• 提出一种校准的迭代算法，动态调整正则化参数以维持次高斯偏差率。
• 依赖小球假设与MOM估计量的抗性性质，确保在回归与密度估计中的鲁棒性。

实验结果

研究问题

• RQ1 在不假设次高斯或有界矩的条件下，鲁棒估计量能否实现次高斯偏差率？
• RQ2 如何构建极小化极大策略，以确保在模型误设情况下的最优性能？
• RQ3 在高维鲁棒估计中，实现最优统计速率的计算成本是多少？
• RQ4 能否设计出在重尾数据下仍能保持最优偏差界的多项式时间算法？

主要发现

• 本文建立了一种多项式时间算法，可计算出具有最优偏差界的多元均值估计量，其偏差界为 $O\left(\sqrt{\frac{\text{Tr}(\Sigma)}{N}} + \sqrt{\frac{\|\Sigma\|_{\text{op}}K}{N}}\right)$。
• 该算法在高概率下实现偏差控制，满足 $\mathbb{P}\left(\|\widehat{\mu}-\mu_P\| \leq C\left(\sqrt{\frac{\text{Tr}(\Sigma)}{N}} + \sqrt{\frac{\|\Sigma\|_{\text{op}}K}{N}}\right)\right) \geq 1 - e^{-u \wedge (K/C)}$。
• MOM估计量被证明对异常值具有抗性，即使在数据污染下，其偏差界仍保持次高斯特性。
• 本文证明，同质性引理可统一处理多重检验与通过凸损失实现的鲁棒估计。
• 通过带校准阈值的凸松弛方法求解原问题，构造出一种近乎线性时间的算法。
• 理论保证被扩展至使用Hellinger损失的回归与密度估计，其偏差率同样达到最优。