[论文解读] Le cam theory on the comparison of statistical models

Ester Mariucci|arXiv (Cornell University)|May 11, 2016

Mathematical and Theoretical Analysis参考文献 1被引用 11

一句话总结

本文全面概述了使用 Le Cam 距离比较统计模型的 Le Cam 理论，重点探讨了非参数密度估计模型与高斯白噪声模型之间的渐近等价性。在适当条件下，当二项分辨率 $ m = n^{1/(2+ u)} $ 时，这些模型之间的缺陷距离收敛速率为 $ O(n^{-\frac{\nu}{2(\nu+2)}} \log n) $（当 $ 0 < \nu \leq \frac{1}{2} $ 时），以及 $ O(n^{-\frac{1}{10}} \log n) $（当 $ \frac{1}{2} < \nu \leq 1 $ 时）。

ABSTRACT

We recall the main concepts of the Le Cam theory of statistical experiments , especially the notion of Le Cam distance and its properties. We also review classical tools for bounding such a distance before presenting some examples. A proof of the classical equivalence result between density estimation problems and Gaussian white noise models will be analyzed.

研究动机与目标

• 为数学统计与非参数推断领域的研究人员提供 Le Cam 统计实验理论的自包含且易于理解的入门介绍。
• 阐明 Le Cam 距离与缺陷在比较统计模型中的作用，尤其是在非渐近与渐近情形下。
• 通过构造性逼近技术，展示非参数密度估计与高斯白噪声模型之间的渐近等价性。
• 在 Hölder 光滑密度类（参数为 $ \gamma, K, \varepsilon, M $）下，推导 Le Cam 距离的精确收敛速率。

提出的方法

• 将 Le Cam 距离 $ \delta(\mathscr{P}_1, \mathscr{P}_2) $ 定义为 $ \mathscr{P}_1 $ 相对于 $ \mathscr{P}_2 $ 的缺陷的下确界，量化统计决策风险的最小损失。
• 利用概率测度之间的总变差距离，通过三角不等式与耦合论证来界定 Le Cam 距离。
• 构造一个多项分布近似 $ \mathcal{M}(n; \theta_1, \dots, \theta_m) $ 来逼近 i.i.d. 密度模型 $ \mathscr{P}_{1,n} $，其中二项分辨率 $ m $ 用于离散化密度估计问题。
• 通过具有独立增量的高斯过程对多项分布模型进行高斯近似，引入一个阶为 $ \frac{m \ln m}{\sqrt{n}} $ 的可控误差项。
• 通过测度变换论证与 $ \sqrt{f} $ 的泰勒展开，建立高斯近似与高斯白噪声模型 $ \mathscr{P}_{2,n} $ 之间的渐近等价性。
• 将二项分辨率 $ m $ 优化为 $ m = n^{1/(2+\gamma)} $，以平衡近似误差，并推导出 Le Cam 距离的最终收敛速率。

实验结果

研究问题

• RQ1 在何种条件下，密度估计模型在 Le Cam 意义下与高斯白噪声模型渐近等价？
• RQ2 非参数密度模型与高斯白噪声模型之间 Le Cam 距离的最优收敛速率是什么？
• RQ3 二项分辨率 $ m $ 的选择如何影响从密度估计到高斯近似的近似误差？
• RQ4 光滑参数 $ \gamma $ 在决定 Le Cam 距离收敛速率方面起什么作用？
• RQ5 两个模型之间的缺陷是否能在所有有界损失函数上一致有界？这与统计决策风险有何关联？

主要发现

• 在 $ 0 < \gamma \leq \frac{1}{2} $ 时，密度估计模型 $ \mathscr{P}_{1,n} $ 与高斯白噪声模型 $ \mathscr{P}_{2,n} $ 之间的 Le Cam 距离被控制在 $ O\big{(}n^{-\frac{\gamma}{2(\gamma+2)}} \log n\big{)} $ 以内。
• 当 $ \frac{1}{2} < \gamma \leq 1 $ 时，Le Cam 距离以 $ O\big{(}n^{-\frac{1}{10}} \log n\big{)} $ 的速率收敛，表明其收敛速度慢于更光滑的情形。
• 最优的二项分辨率选择为 $ m = n^{1/(2+\gamma)} $，该选择平衡了多项分布近似与高斯近似的误差。
• 多项分布模型与高斯白噪声模型之间的缺陷为 $ O\big{(}\sqrt{n}(m^{-3/2} + m^{-1-\gamma})\big{)} $，该量决定了整体收敛速率。
• 通过 $ \sqrt{f} $ 的泰勒展开产生的近似误差由 $ f $ 的 Hölder 正则性控制，余项在内部区间有界于 $ O(m^{-1-\gamma}) $，在边界区间有界于 $ O(m^{-3/2}) $。
• 构造的高斯过程 $ y_t^* $ 与真实高斯过程 $ y_t $ 之间的总变差距离被控制在 $ \sqrt{4n \int_0^1 (\widehat{\sqrt{f}}_m(y) - \sqrt{f}(y))^2 dy} $ 以内，该表达式的阶与 Le Cam 距离相同。