[论文解读] Minimax Optimal Estimators for Additive Scalar Functionals of Discrete Distributions

Kazuto Fukuchi, Jun Sakuma|arXiv (Cornell University)|Jan 23, 2017

Statistical Methods and Inference参考文献 20被引用 6

一句话总结

本文提出了一类针对离散分布的加法标量泛函的极小极大最优估计器，定义为 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$，在 $\phi$ 的一般光滑性条件下。研究结果表明，极小极大风险由 $\phi$ 的四阶导数的发散速度决定：若 $|\phi^{(4)}(p)|$ 的增长快于 $p^{-4}$，则不存在一致估计器；当 $|\phi^{(4)}(p)| \sim p^{4-\alpha}$ 且 $\alpha \in (0,1)$ 时，推导出精确速率 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$。该估计器在 $k$ 较大时达到极小极大最优性。

ABSTRACT

In this paper, we consider estimators for an additive functional of $ϕ$, which is defined as $θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$, from $n$ i.i.d. random samples drawn from a discrete distribution $P=(p_1,...,p_k)$ with alphabet size $k$. We propose a minimax optimal estimator for the estimation problem of the additive functional. We reveal that the minimax optimal rate is characterized by the divergence speed of the fourth derivative of $ϕ$ if the divergence speed is high. As a result, we show there is no consistent estimator if the divergence speed of the fourth derivative of $ϕ$ is larger than $p^{-4}$. Furthermore, if the divergence speed of the fourth derivative of $ϕ$ is $p^{4-α}$ for $α\in (0,1)$, the minimax optimal rate is obtained within a universal multiplicative constant as $\frac{k^2}{(n\ln n)^{2α}} + \frac{k^{2-2α}}{n}$.

研究动机与目标

• 从独立同分布样本中推导加法泛函 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ 的极小极大最优估计器。
• 在光滑性条件下，对一般 $\phi$ 的极小极大风险进行表征，特别关注 $\phi$ 的四阶导数的作用。
• 建立在 $\phi^{(4)}(p)$ 发散速度基础上，不存在一致估计器的条件。
• 提供一个统一框架，推广先前关于熵和 R\'enyi 熵估计的研究结果。

提出的方法

• 提出一种新颖的估计器，通过在经验概率附近利用 $\phi$ 的高阶泰勒展开，实现极小极大最优性。
• 基于 $\phi$ 的四阶导数采用偏差校正方法，结合截断与平滑技术，以控制高维情形下的方差。
• 应用浓度不等式和概率向量 $\ell_1$-范数的界，以控制估计误差。
• 通过分析所有 $P \in \mathcal{M}_k$ 上的最坏情况风险，利用最大化偏差-方差权衡的最坏情况分布，推导极小极大风险界。
• 引入函数类 $\phi \in C^4[0,1]$，控制四阶导数的增长，从而实现对最优速率的精确表征。
• 通过检验和 Le Cam 方法将问题约化为局部极小极大分析，推导风险的下界。

实验结果

研究问题

• RQ1 当 $\phi$ 为一般光滑函数时，加法泛函 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ 的极小极大最优估计速率是什么？
• RQ2 如何影响 $\phi$ 的四阶导数的发散速度对极小极大风险的影响？
• RQ3 在何种条件下，此类泛函不存在一致估计器？
• RQ4 能否在一大类 $\phi$ 中，以一个通用常数表征极小极大最优速率？
• RQ5 在 $k$ 随 $n$ 增长的大 $k$ 阶段中，所提出的估计器是否仍为极小极大最优？

主要发现

• 若 $|\phi^{(4)}(p)|$ 在 $p \to 0^+$ 时发散快于 $p^{-4}$，则加法泛函不存在一致估计器。
• 当 $|\phi^{(4)}(p)| \sim p^{4-\alpha}$ 且 $\alpha \in (0,1)$ 时，极小极大最优速率为 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$，至多相差一个通用常数。
• 所提出的估计器对所有满足 $[0,1]$ 上四阶导数有界的 $\phi \in C^4[0,1]$ 均达到该极小极大最优速率。
• 在大 $k$ 阶段中，极小极大风险严格大于插补估计器的风险，证实了插补方法的次优性。
• 速率 $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ 在 $k^2/n^2$ 的偏差项与 $k^{2-2\alpha}/n$ 的方差项之间实现插值，反映了偏差与方差之间的权衡。
• 分析表明，$\phi^{(4)}(p)$ 在零附近的性质是决定极小极大速率的主导因素，而非低阶导数。