[论文解读] Robust and Heavy-Tailed Mean Estimation Made Simple, via Regret Minimization

Samuel B. Hopkins, Jerry Li+1 more|arXiv (Cornell University)|Jul 31, 2020

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文通过一种称为谱样本重加权的元问题，统一了高维下的鲁棒性与重尾均值估计，表明诸如过滤算法和量子熵评分（QUE）等算法可通过后悔最小化同时解决这两个问题。该方法实现了最优误差率，运行时间与目前已知最快的方法相当，简化了分析过程，并支持现有算法的黑箱应用。

ABSTRACT

We study the problem of estimating the mean of a distribution in high dimensions when either the samples are adversarially corrupted or the distribution is heavy-tailed. Recent developments in robust statistics have established efficient and (near) optimal procedures for both settings. However, the algorithms developed on each side tend to be sophisticated and do not directly transfer to the other, with many of them having ad-hoc or complicated analyses. In this paper, we provide a meta-problem and a duality theorem that lead to a new unified view on robust and heavy-tailed mean estimation in high dimensions. We show that the meta-problem can be solved either by a variant of the Filter algorithm from the recent literature on robust estimation or by the quantum entropy scoring scheme (QUE), due to Dong, Hopkins and Li (NeurIPS '19). By leveraging our duality theorem, these results translate into simple and efficient algorithms for both robust and heavy-tailed settings. Furthermore, the QUE-based procedure has run-time that matches the fastest known algorithms on both fronts. Our analysis of Filter is through the classic regret bound of the multiplicative weights update method. This connection allows us to avoid the technical complications in previous works and improve upon the run-time analysis of a gradient-descent-based algorithm for robust mean estimation by Cheng, Diakonikolas, Ge and Soltanolkotabi (ICML '20).

研究动机与目标

• 解决高维下鲁棒性均值估计与重尾均值估计之间缺乏正式联系的问题。
• 为两种情形下的迭代算法提供一个原则性、统一的分析框架。
• 通过后悔最小化与对偶性，简化过滤型与基于梯度算法的分析。
• 在运行时间与目前已知最快算法相当的前提下，实现最优误差率。
• 支持现有算法（如过滤算法、QUE）在鲁棒性与重尾设定下的黑箱应用。

提出的方法

• 引入谱样本重加权作为元问题：通过重加权样本以最小化重加权协方差矩阵的最大特征值。
• 证明一个对偶定理，将谱样本重加权与鲁棒性及重尾均值估计联系起来。
• 应用来自鲁棒统计的过滤算法求解元问题，利用乘法权重更新的后悔界。
• 利用量子熵评分方案（QUE）实现近似常数次迭代与最优运行时间。
• 采用分桶与剪枝策略，在保持集中性保证的前提下减小问题规模。
• 应用Lugosi-Mendelson结构引理，确保剪枝子集中存在一个优质中心。

实验结果

研究问题

• RQ1 是否存在一种正式联系，使鲁棒性均值估计与重尾均值估计能够共享算法解法？
• RQ2 能否通过后悔最小化对过滤等迭代算法进行严格分析，避免繁琐或复杂的证明？
• RQ3 能否使用同一套算法框架在两种设定下均实现最优误差率与快速运行时间？
• RQ4 量子熵评分方案（QUE）是否对两类问题均实现近似最优运行时间？
• RQ5 能否通过基于后悔的技巧简化基于梯度下降方法的分析？

主要发现

• 当应用于分桶均值的剪枝子集时，过滤算法可实现重尾均值估计的最优次高斯误差，运行时间为 O(k²d² + nd)。
• 量子熵评分（QUE）方案在 Õ(1) 次迭代内解决两类问题，总运行时间为 Õ(k²d)，与目前已知最快算法一致。
• 对偶定理表明，在较弱条件下，求解谱样本重加权即可满足鲁棒性与重尾均值估计的需求。
• 基于后悔的过滤算法分析避免了先前工作中技术上的复杂性，并改进了基于梯度下降的鲁棒均值估计的运行时间界。
• 对剪枝分桶均值的过滤与QUE进行黑箱应用，可在次高斯集中性条件下以高概率实现最优误差。
• 该方法在失败概率 δ 下实现最优误差率 O(rδ)，其中重尾设定下 rδ = Ω(√(d/n))，鲁棒设定下 ε = O(1)。