[论文解读] Confidence regions and minimax rates in outlier-robust estimation on the probability simplex

Amir-Hossein Bateni, Arnak S. Dalalyan|arXiv (Cornell University)|Feb 12, 2019

Advanced Statistical Methods and Models参考文献 30被引用 7

一句话总结

本文研究在最多 ε 比例的观测值受到任意污染的情况下，对 k 维单纯形上的概率向量进行异常值鲁棒估计。它建立了总变差、赫林格和 L² 距离的极小极大率，表明样本均值在所有三种度量下均达到最优率，并提供了以极小极大率收缩的置信区域，且给出了适应稀疏性的显式高概率界。

ABSTRACT

We consider the problem of estimating the mean of a distribution supported by the $k$-dimensional probability simplex in the setting where an $\\varepsilon$ fraction of observations are subject to adversarial corruption. A simple particular example is the problem of estimating the distribution of a discrete random variable. Assuming that the discrete variable takes $k$ values, the unknown parameter $\\boldsymbol \ heta$ is a $k$-dimensional vector belonging to the probability simplex. We first describe various settings of contamination and discuss the relation between these settings. We then establish minimax rates when the quality of estimation is measured by the total-variation distance, the Hellinger distance, or the $\\mathbb L^2$-distance between two probability measures. We also provide confidence regions for the unknown mean that shrink at the minimax rate. Our analysis reveals that the minimax rates associated to these three distances are all different, but they are all attained by the sample average. Furthermore, we show that the latter is adaptive to the possible sparsity of the unknown vector. Some numerical experiments illustrating our theoretical findings are reported.

研究动机与目标

• 分析在最多 ε 比例观测值受到对抗性污染时，k 维概率单纯形上分布均值的极小极大估计风险。
• 建立以总变差、赫林格和 L² 距离度量的估计误差的非渐近极小极大上下界。
• 构造在污染下以极小极大率收缩且以高概率有效的置信区域。
• 证明样本均值在所有三种距离度量下均为极小极大最优，并能自适应于真实参数的稀疏性。
• 提供在所有可能污染分布和稀疏参数向量上一致成立的理论保证。

提出的方法

• 分析 Huber 污染模型，其中每个观测值从参考分布 P 和污染分布 Q 的混合中抽取，其中 ε 比例为异常值。
• 通过考虑所有可能的参考分布 P 和污染分布 Q 的最坏情况上确界（sup），并假设真实均值 θ 为 s-稀疏，推导极小极大风险界。
• 使用对称化和经验过程技术，分别在总变差、赫林格和 L² 距离下界估计误差的期望。
• 应用伯恩斯坦和霍夫丁型不等式，控制样本均值在稀疏分量存在下的偏离真实值的偏差。
• 引入截断与对称化论证，以处理真实参数向量中较小分量的影响，尤其在赫林格距离分析中。
• 构造形式为 B_□(X̄_n, r_n,ε,δ) 的置信区域，使得真实参数以至少 1−δ 的概率落在其中，且半径 r_n,ε,δ 与极小极大率一致。

实验结果

研究问题

• RQ1 在存在 ε 比例异常值的对抗性污染下，概率单纯形上分布均值的估计极小极大率是什么？
• RQ2 总变差、赫林格和 L² 距离下的极小极大率有何不同？样本均值是否在所有三种度量下均最优？
• RQ3 能否构造出以极小极大率收缩且在污染下以高概率有效的置信区域？
• RQ4 在存在异常值的情况下，样本均值是否能自适应于真实参数向量 θ 的稀疏度 s？
• RQ5 在所有可能污染模型上一致成立的估计误差的非渐近高概率界是什么？

主要发现

• 在 ε-污染下，单纯形上估计的极小极大风险在总变差和 L² 距离下为 (s/n)^{1/2} 量级，在高概率置信区域下为 (s/n)^{1/2} log(1/δ)^{1/2} 量级。
• 对于赫林格距离，极小极大风险为 (s log(1/δ)/n)^{1/2} 量级，且该速率可由样本均值实现。
• 尽管存在对抗性异常值，样本均值在所有三种距离下（总变差、赫林格和 L²）均为极小极大最优。
• 基于样本均值的置信区域实现了极小极大率，在概率至少 1−δ 下有效，其半径在赫林格距离下为 (s log(1/δ)/n)^{1/2} 量级，在总变差距离下为 (log(1/δ)/n)^{1/2} 量级。
• 分析表明，三种距离的极小极大率不同，赫林格距离的速率更慢，这是由于该距离的非线性特性所致。
• 样本均值能自适应于真实参数向量 θ 的稀疏度 s，在无需预先知晓 s 的情况下即达到最优速率。