[论文解读] Dualizing Le Cam's method for functional estimation, with applications to estimating the unseens

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Feb 14, 2019

Statistical Methods and Inference参考文献 50被引用 10

一句话总结

本文提出了勒卡姆两点多方法在函数估计中的对偶形式，揭示了在估计线性泛函时，极小极大风险通过凸对偶性被紧密刻画为偏差-方差权衡。该文在多种模型下（包括指数族和高维情形）建立了估计未观测量（如不同元素数和未见物种数）的紧下界，且在临界采样阈值处表现出明确的相变（拐点效应）。

ABSTRACT

Le Cam's method (or the two-point method) is a commonly used tool for obtaining statistical lower bound and especially popular for functional estimation problems. This work aims to explain and give conditions for the tightness of Le Cam's lower bound in functional estimation from the perspective of convex duality. Under a variety of settings it is shown that the maximization problem that searches for the best two-point lower bound, upon dualizing, becomes a minimization problem that optimizes the bias-variance tradeoff among a family of estimators. For estimating linear functionals of a distribution our work strengthens prior results of Donoho-Liu \cite{DL91} (for quadratic loss) by dropping the Hölderian assumption on the modulus of continuity. For exponential families our results extend those of Juditsky-Nemirovski \cite{JN09} by characterizing the minimax risk for the quadratic loss under weaker assumptions on the exponential family. We also provide an extension to the high-dimensional setting for estimating separable functionals. Notably, coupled with tools from complex analysis, this method is particularly effective for characterizing the ``elbow effect'' -- the phase transition from parametric to nonparametric rates. As the main application we derive sharp minimax rates in the Distinct elements problem (given a fraction $p$ of colored balls from an urn containing $d$ balls, the optimal error of estimating the number of distinct colors is $ ilde Θ(d^{-\frac{1}{2}\min\{\frac{p}{1-p},1\}})$) and the Fisher's species problem (given $n$ iid observations from an unknown distribution, the optimal prediction error of the number of unseen symbols in the next (unobserved) $r \cdot n$ observations is $ ilde Θ(n^{-\min\{\frac{1}{r+1},\frac{1}{2}\}})$).

研究动机与目标

• 通过凸对偶性解释勒卡姆下界在函数估计中的紧致性。
• 在不施加模连续性霍尔德条件的假设下，扩展先前关于线性泛函极小极大风险的结果。
• 在弱于以往工作的假设下，刻画指数族中的极小极大风险。
• 为高维可分函数估计建立统一框架，明确呈现相变现象。
• 将该方法应用于“估计未见量”中的三个关键问题——不同颜色数、费雪物种问题和群体恢复，恢复并扩展了已知结果。

提出的方法

• 将两点勒卡姆下界优化问题对偶化为对估计量的最小化，揭示出偏差-方差权衡结构。
• 利用凸对偶性将对分布的最大化转化为对估计量的最小化，从而实现更紧的风险刻画。
• 应用复分析与逼近论工具分析 $χ^2$-散度和矩匹配约束。
• 通过 $χ^2$-散度刻画独立同分布和确定性设定下的极小极大风险，其对偶等价性在常数因子范围内成立。
• 采用泊松化与去泊松化技术，关联物种问题中的固定样本与泊松采样模型。
• 利用埃尔米特多项式与矩匹配论证，构造出达到下界的可行分布。

实验结果

研究问题

• RQ1 勒卡姆的两点下界在何种条件下对函数估计是紧的？
• RQ2 凸对偶性如何被用于将极小极大风险重新表述为偏差-方差优化问题？
• RQ3 当仅观测到总体中的一部分项目时，估计总体中不同颜色数的极小极大速率为何？
• RQ4 估计未来样本中未见符号数的最优预测误差是多少，相变（拐点）发生在何处？
• RQ5 该方法如何推广至指数族中的高维或可分泛函？

主要发现

• 线性泛函估计的极小极大风险被对偶化勒卡姆下界紧密刻画，满足 $ R_{\text{iid}}^{*}(n) \asymp R_{\text{det}}^{*}(n) \asymp \max_{\theta,\theta'} \left\{ |T(\pi) - T(\pi')|^2 : \chi^2(\pi P \| \pi' P) \leq \frac{1}{n} \right\} $，至多相差绝对常数。
• 对于不同元素问题，归一化误差在 $ d^{-\frac{1}{2} \min\{\frac{p}{1-p}, 1\}} $ 的对数因子范围内，且在 $ p = \frac{1}{2} $ 处出现拐点。
• 对于费雪物种问题，归一化预测误差在 $ n^{-\min\{\frac{1}{r+1}, \frac{1}{2}\}} $ 的对数因子范围内，且在 $ r = 1 $ 处出现拐点。
• 该方法恢复了 [PSW17] 关于群体恢复的先前结果，并将其推广至新设定，明确展示了相变现象。
• 通过埃尔米特多项式与矩匹配分析表明，当 $ \theta \in [-1,1] $ 时，$ \mathbb{E}[|\theta|] $ 的极小极大风险被 $ \tilde{O}(t^{1/2}) $ 有界，且通过逼近论方法可获得匹配的下界。
• 证明泊松化模型与固定样本模型之间的误差在 $ O(\log n / n) $ 范围内，从而实现跨模型的稳健风险分析。