[论文解读] Robust estimation of U-statistics

Émilien Joly, Gábor Lugosi|arXiv (Cornell University)|Apr 17, 2015

Bayesian Methods and Mixture Models参考文献 14被引用 6

一句话总结

本文提出了一种针对U统计量的鲁棒中位数-均值估计器，在仅需最小矩条件的情况下，即使核分布为重尾分布，也能保持指数尾部界限。该方法推广了Arcones与Giné（1993）的经典结果，在仅具有有限方差或$L^p$-可积性时达到最优速率，适用于P-退化核，从而在聚类等应用中实现弱矩假设下的可靠估计。

ABSTRACT

An important part of the legacy of Evarist Giné is his fundamental contributions to our understanding of $U$-statistics and $U$-processes. In this paper we discuss the estimation of the mean of multivariate functions in case of possibly heavy-tailed distributions. In such situations, reliable estimates of the mean cannot be obtained by usual $U$-statistics. We introduce a new estimator, based on the so-called median-of-means technique. We develop performance bounds for this new estimator that generalizes an estimate of Arcones and Giné (1993), showing that the new estimator performs, under minimal moment conditions, as well as classical $U$-statistics for bounded random variables. We discuss an application of this estimator to clustering.

研究动机与目标

• 解决经典U统计量在重尾分布下失效的问题，此时方差可能不存在或尾部行为不稳定。
• 开发一种鲁棒的U统计量估计器，即使核仅具有有限方差或$L^p$-可积性（$1 < p \leq 2$），也能保持集中性质。
• 在最小矩假设下，将Arcones与Giné（1993）的指数尾部界限推广至无界、重尾核。
• 在数据可能呈现重尾特性的聚类等应用中，实现可靠估计。

提出的方法

• 提出一种基于中位数-均值技术的新鲁棒估计器，以在重尾条件下稳定U统计量。
• 将样本划分为$B$个互不相交的块，每块大小满足$|B| \geq n / (128 \lceil \log(N/\delta) \rceil)$，以计算块内U统计量。
• 通过计算块内U统计量的中位数，形成最终估计器$\overline{\Lambda}_{\mathcal{B}}(\mathcal{P})$，降低对异常值的敏感性。
• 使用Hoeffding分解将U统计量分离为一阶与二阶成分：$\Lambda_n = 2L_n + M_n$。
• 应用切比雪夫不等式与联合界控制块中位数与真实均值的偏离，利用中位数的次高斯行为。
• 在核的$L^p$-可积性条件下，推导中位数-均值估计器的指数尾部界限，推广经典结果。

实验结果

研究问题

• RQ1 能否构造一种鲁棒的U统计量估计器，在核仅具有有限方差或$L^p$-可积性时，仍保持指数尾部界限？
• RQ2 中位数-均值技术在重尾数据存在时如何提升U统计量的鲁棒性？
• RQ3 Arcones与Giné（1993）的性能界限在多大程度上可推广至无界、重尾核？
• RQ4 在最小矩条件下，鲁棒中位数-均值U统计量的最优收敛速率是多少？

主要发现

• 所提出的中位数-均值估计器即使在核仅具有有限方差时，也能实现与经典U统计量相似的指数尾部界限。
• 对于$P$-退化核，估计器满足类似于Arcones与Giné（1993）的界限，当核满足$L^p$-可积性（$1 < p \leq 2$）时，收敛速率为$O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$。
• 在$L^p$-可积性且$p \in (1,2]$时，估计器达到$O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$的收敛速率，与有界核的最优速率一致。
• 中位数-均值方法确保了对重尾分布的鲁棒性，如在具有$\alpha$-稳定噪声的聚类应用中所展示。
• 以高概率，估计器满足偏差界限$|\overline{\Lambda}_{\mathcal{B}}(\mathcal{P}) - \Lambda(\mathcal{P})| \leq C \sigma (W(\mathcal{P}) - W^*)^{\alpha/2} \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$。
• 聚类误差的最终界限满足$(W(\widehat{\mathcal{P}}) - W^*)^{1 - \alpha/2} \leq 2K\sigma \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$，证明了在弱矩条件下的相合性。