[论文解读] Distribution-robust mean estimation via smoothed random perturbations

Matthew J. Holland|arXiv (Cornell University)|Jun 25, 2019

Statistical Methods and Inference参考文献 13被引用 4

一句话总结

本文提出了一类新型的分布鲁棒均值估计器，通过在软截断的经验均值上施加平滑的随机扰动（加法或乘法），实现仅基于有限二阶矩条件下的闭式计算与近似次高斯的偏差界。关键贡献在于该估计器在各类分布下均能实现近乎次高斯的性能，其指数尾部界由第二矩控制。

ABSTRACT

We consider the problem of mean estimation assuming only finite variance. We study a new class of mean estimators constructed by integrating over random noise applied to a soft-truncated empirical mean estimator. For appropriate choices of noise, we show that this can be computed in closed form, and utilizing relative entropy inequalities, these estimators enjoy deviations with exponential tails controlled by the second moment of the underlying distribution. We consider both additive and multiplicative noise, and several noise distribution families in our analysis. Furthermore, we empirically investigate the sensitivity to the mean-standard deviation ratio for numerous concrete manifestations of the estimator class of interest. Our main take-away is that an inexpensive new estimator can achieve nearly sub-Gaussian performance for a wide variety of data distributions.

研究动机与目标

• 开发一种在仅假设有限方差条件下仍能保持强偏差保证的均值估计器，无需假设次高斯或轻尾分布。
• 通过在软截断经验均值上积分随机噪声，构建估计器族，实现闭式计算。
• 证明这些估计器即使在重尾分布下，也能实现与次高斯估计器相当的指数尾部界。
• 评估估计器在有限样本设置下对均值与标准差比值及样本大小的敏感性。

提出的方法

• 估计器定义为在平滑噪声分布下对软截断经验均值的期望，特定噪声族下可实现闭式计算。
• 利用相对熵不等式推导偏差界，将估计器的尾部行为与底层分布的二阶矩联系起来。
• 分别分析加法与乘法噪声模型，推导出正态、伯努利、威布尔及学生t分布噪声下的闭式表达式。
• 利用双伽马函数与伽马分布的性质推导理论界，尤其针对学生t噪声。
• 利用对数变换后的卡方与伽马变量的期望可解析表达的性质，涉及双伽马函数Ψ。
• 通过关于缩放参数s优化相对熵上界，获得单边与双边尾部概率的紧致偏差界。

实验结果

研究问题

• RQ1 能否构造一种在仅假设有限方差条件下，实现近似次高斯偏差界的均值估计器，而无需假设次高斯或轻尾分布？
• RQ2 不同噪声分布（加法或乘法）如何影响估计器的性能与鲁棒性？
• RQ3 在有限样本下，估计器对均值-标准差比值的敏感性如何，且在不同底层分布中表现如何？
• RQ4 所提出的估计器能否在包括重尾与偏态分布在内的广泛数据生成机制下实现近乎次高斯的性能？
• RQ5 噪声分布的选择（如正态、学生t、伯努利）如何影响偏差界的紧致性及估计器的有限样本行为？

主要发现

• 所提出的估计器在仅假设有限方差条件下，实现了由底层分布二阶矩控制的双边指数尾部偏差界。
• 对于自由度为$q$的学生t噪声，相对熵上界为$\frac{(q+1)}{2}\left(\log\left(1+\frac{\alpha^{2}}{q}\right)+\frac{4|\alpha|\Gamma((q+1)/2)}{\sqrt{q\pi}\Gamma(q/2)(q-1)}\right)$，从而实现紧致的偏差控制。
• 该估计器在包括重尾与偏态分布在内的多种分布中均实现了近乎次高斯的性能，经实证验证。
• 偏差界对均值-标准差比值具有鲁棒性，性能在不同偏度与峰度水平下保持稳定。
• 对正态、伯努利、威布尔及学生t等多重噪声族实现了闭式计算，支持实际应用。
• 实证结果表明，该估计器在有限样本下保持强性能，其偏差分布与次高斯行为高度一致，即使在非正态条件下亦然。