[論文レビュー] Minimax Optimal Estimators for Additive Scalar Functionals of Discrete Distributions

Kazuto Fukuchi, Jun Sakuma|arXiv (Cornell University)|Jan 23, 2017

Statistical Methods and Inference参考文献 20被引用数 6

ひとこと要約

本稿では、一般の滑らかさ条件のもとで、離散分布の加法的スカラー汎関数 $ heta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ のためのミニマックス最適推定量を提案する。最小リスクは $φ$ の4階微分の発散速度によって特徴づけられ、$|\phi^{(4)}(p)|$ が $p^{-4}$ より速く発散する場合には一貫した推定量が存在しないことが示され、$|\phi^{(4)}(p)| \sim p^{4-\alpha}$（$α \in (0,1)$）のときには正確なレート $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ が得られる。この推定量は $k$ が大きい場合のミニマックス最適性を達成する。

ABSTRACT

In this paper, we consider estimators for an additive functional of $ϕ$, which is defined as $θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$, from $n$ i.i.d. random samples drawn from a discrete distribution $P=(p_1,...,p_k)$ with alphabet size $k$. We propose a minimax optimal estimator for the estimation problem of the additive functional. We reveal that the minimax optimal rate is characterized by the divergence speed of the fourth derivative of $ϕ$ if the divergence speed is high. As a result, we show there is no consistent estimator if the divergence speed of the fourth derivative of $ϕ$ is larger than $p^{-4}$. Furthermore, if the divergence speed of the fourth derivative of $ϕ$ is $p^{4-α}$ for $α\in (0,1)$, the minimax optimal rate is obtained within a universal multiplicative constant as $\frac{k^2}{(n\ln n)^{2α}} + \frac{k^{2-2α}}{n}$.

研究の動機と目的

• i.i.d.標本から得られる加法的汎関数 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ のミニマックス最適推定量を導出すること。
• 滑らかさ条件のもとで一般の $\phi$ に対するミニマックスリスクを特徴づけ、特に $\phi$ の4階微分の役割に注目すること。
• $\phi^{(4)}(p)$ の発散速度に基づいて、一貫した推定が不可能となる条件を確立すること。
• エントロピーおよびR\'enyiエントロピー推定に関する先行研究を一般化する統一的枠組みを提供すること。

提案手法

• 推定誤差のバイアスを制御するため、$\phi$ の高階テイラー展開を用いた新しい推定量を提案し、ミニマックス最適性を達成する。
• 4階微分に基づくバイアス補正を採用し、高次元領域における分散を制御するための切り捨てと平滑化を施す。
• 推定誤差を制御するため、確率ベクトルの $\ell_1$ ノルムに関する集中不等式とバウンドを適用する。
• すべての $P \in \mathcal{M}_k$ における最悪のリスクを分析することでミニマックスリスクバウンドを導出し、バイアス-バリアンストレードオフを最大化する最悪の分布を特定する。
• 4階微分の成長を制御する関数クラス $\phi \in C^4[0,1]$ を導入し、最適レートの正確な特徴づけを可能にする。
• テストとレ・カムの方法を用いた局所ミニマックス分析への還元により、リスクの下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般の滑らかな関数 $\phi$ に対して、加法的汎関数 $\theta(P;\phi) = \sum_{i=1}^k \phi(p_i)$ のミニマックス最適推定レートは何か？
• RQ2 $\phi$ の4階微分の発散速度はミニマックスリスクにどのように影響するか？
• RQ3 どのような条件下で、このような汎関数に対する一貫した推定量が存在しないか？
• RQ4 広範な $\phi$ のクラスにおいて、ミニマックス最適レートが普遍定数の範囲内で特徴づけられるか？
• RQ5 $k$ が $n$ と共に増加する大 $k$ レジームにおいても、提案された推定量はミニマックス最適性を満たすか？

主な発見

• $|\phi^{(4)}(p)|$ が $p \to 0^+$ の際に $p^{-4}$ より速く発散する場合には、加法的汎関数に対する一貫した推定量は存在しない。
• $|\phi^{(4)}(p)| \sim p^{4-\alpha}$（$α \in (0,1)$）のとき、ミニマックス最適レートは $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ であり、普遍定数の範囲内で正確に得られる。
• 4階微分が $[0,1]$ で有界なすべての $\phi \in C^4[0,1]$ に対して、提案された推定量はこのミニマックス最適レートを達成する。
• 大 $k$ レジームにおいて、ミニマックスリスクはプラグイン推定量のそれよりも厳密に大きいことが確認され、プラグイン法の非最適性が裏付けられる。
• レート $\frac{k^2}{(n\ln n)^{2\alpha}} + \frac{k^{2-2\alpha}}{n}$ は、バイアス項 $k^2/n^2$ とバリアンス項 $k^{2-2\alpha}/n$ の間を滑らかに補間しており、バイアスとバリアンスのトレードオフを反映している。
• 解析により、ミニマックスレートを決定づける主な要因は $\phi^{(4)}(p)$ の $p \to 0$ 近傍での挙動であり、低階微分の項ではないことが明らかになった。