[论文解读] MONK -- Outlier-Robust Mean Embedding Estimation by Median-of-Means

Matthieu Lerasle, Zoltán Szabó+2 more|arXiv (Cornell University)|Feb 13, 2018

Statistical Methods and Inference参考文献 79被引用 13

一句话总结

本文提出 MONK，一种基于众数-均值原理的新型核均值嵌入与最大均值差异（MMD）的抗 outlier 估计器。通过将数据划分为块，计算各块的经验均值后取其中位数，MONK 在未限定核函数下仍能实现次高斯偏差界，并对异常值具有强鲁棒性，同时在温和假设下保持最优统计速率。

ABSTRACT

Mean embeddings provide an extremely flexible and powerful tool in machine learning and statistics to represent probability distributions and define a semi-metric (MMD, maximum mean discrepancy; also called N-distance or energy distance), with numerous successful applications. The representation is constructed as the expectation of the feature map defined by a kernel. As a mean, its classical empirical estimator, however, can be arbitrary severely affected even by a single outlier in case of unbounded features. To the best of our knowledge, unfortunately even the consistency of the existing few techniques trying to alleviate this serious sensitivity bottleneck is unknown. In this paper, we show how the recently emerged principle of median-of-means can be used to design estimators for kernel mean embedding and MMD with excessive resistance properties to outliers, and optimal sub-Gaussian deviation bounds under mild assumptions.

研究动机与目标

• 解决经典经验均值估计器在核均值嵌入与 MMD 中缺乏鲁棒性的问题，尤其是在未限定核函数与异常值污染下。
• 克服标准估计器（如 U-统计量与 V-统计量）对单个异常值的敏感性，后者可能导致结果严重失真。
• 设计一种理论基础坚实的抗异常值估计器，确保在温和矩条件下保持最优统计速率（如 $N^{-1/2}$）。
• 首次为在重尾或污染数据下具有鲁棒性的 MMD 估计器提供一致性与次高斯偏差界。
• 通过在高斯分布、帕累托分布及真实世界 DNA 序列数据上的实验，展示 MONK 在异常值易发场景下的实际适用性。

提出的方法

• 将输入数据划分为 $Q$ 个互不相交的块，以形成核均值嵌入的块内经验均值估计。
• 应用众数-均值原理，通过计算这 $Q$ 个块内估计器的中位数来降低对极端值的敏感性。
• 对均值嵌入 $\mu_{\mathbb{P}}$ 与 MMD $\|\mu_{\mathbb{P}} - \mu_{\mathbb{Q}}\|_{\mathscr{H}_K}$ 均采用中位数-均值估计器，以确保鲁棒性。
• 在矩条件假设下建立理论保证，即使核函数无界，仍可获得次高斯偏差界。
• 提出两种变体：MONK BCD（块内计算）与 MONK BCD-Fast（针对大规模或计算昂贵的核函数进行优化）。
• 将 MONK 估计器集成到两样本检验中，通过自助法分位数估计实现稳健假设检验。

实验结果

研究问题

• RQ1 众数-均值原理能否有效应用于核均值嵌入与 MMD 估计，以实现对异常值的鲁棒性？
• RQ2 在温和矩假设下，此类鲁棒估计器能否建立理论保证，特别是次高斯偏差界？
• RQ3 在存在异常值的情况下，基于众数-均值的 MONK 估计器与经典 U-统计量和 V-统计量估计器相比性能如何？
• RQ4 MONK 是否能在保持对重尾或污染数据鲁棒性的同时，维持最优统计速率（如 $N^{-1/2}$）？
• RQ5 MONK 在实际应用中（如计算昂贵的核函数，如生物序列分析）的可扩展性与实用性如何？

主要发现

• 在温和矩条件下，MONK 即使在核函数无界时，也能为均值嵌入与 MMD 估计实现次高斯偏差界。
• 在高斯分布与帕累托分布的实验中，MONK 在异常值污染下显著优于基于 U-统计量的估计器，尤其在二次核与 RBF 核下表现更优。
• 在 DNA 剪接位点数据集上，三种估计器（MONK BCD、MONK BCD-Fast、U-Stat）均成功区分了 EI 与 IE 位点，但 MONK BCD-Fast 在 $N=766$，$Q=15$ 条件下比 U-Stat 快达 2.5 倍（32 秒 vs. 1 分 28 秒）。
• MONK BCD-Fast 展现出卓越的计算效率，适用于大规模或计算昂贵的核函数应用，如字符串子序列核。
• 众数-均值方法确保了即使单个异常值污染数据，估计仍具一致性和鲁棒性，而经典估计器可能被任意扭曲。
• 在类间与类内检验中，基于 MONK 的 MMD 估计值均稳定收敛至正确决策边界，类间情形 $\widehat{\operatorname{MMD}} - \hat{q}_{1-\alpha} > 0$，类内情形 $< 0$，证实了有效假设检验。