[论文解读] Model selection for density estimation with L2-loss

Lucien Birgé|arXiv (Cornell University)|Aug 10, 2008

Statistical Methods and Inference参考文献 25被引用 26

一句话总结

本论文提出了一种针对平方L2损失下密度估计的通用模型选择方法，通过在L∞中以L2球为中心构造检验，实现了对任意有限维模型——即使密度无界——的最优风险界。关键贡献在于提出了一项通用风险界，可自适应于真实密度未知的L∞-范数，实现最优收敛速率，而无需事先知晓光滑性或有界性信息。

ABSTRACT

We consider here estimation of an unknown probability density s belonging to L2(mu) where mu is a probability measure. We have at hand n i.i.d. observations with density s and use the squared L2-norm as our loss function. The purpose of this paper is to provide an abstract but completely general method for estimating s by model selection, allowing to handle arbitrary families of finite-dimensional (possibly non-linear) models and any density s belonging to L2(mu). We shall, in particular, consider the cases of unbounded densities and bounded densities with unknown bound and investigate how the L-infinity-norm of s may influence the risk. We shall also provide applications to adaptive estimation and aggregation of preliminary estimators. Although of a purely theoretical nature, our method leads to results that cannot presently be reached by more concrete methods.

研究动机与目标

• 解决在真实密度无界或L∞-范数未知时，任意模型下L2损失密度估计缺乏通用风险界的问题。
• 提出一种通用的模型选择框架，可在不假设密度光滑性或有界性的情况下实现最优收敛速率。
• 通过在L∞中构造L2球之间的检验，克服现有方法的局限性，实现对未知正则性的自适应。
• 利用统一的理论方法，实现L2损失下对初步估计器的自适应估计与聚合。
• 建立L2损失估计的理论基础，这些基础在非线性或非参数设置下无法通过具体、可代入的方法实现。

提出的方法

• 提出一种基于在L∞中以密度为中心的L2球之间检验的通用模型选择程序，使用随机决策规则从候选模型中进行选择。
• 定义一个依赖于数据的距离度量 $\mathcal{D}_{\mathbf{X}}(t_i)$，用于量化候选密度 $t_i$ 与其他模型中密度之间的分离程度。
• 构造一个检验统计量 $\psi(t_i, t_j, \mathbf{X})$，当 $t_j$ 更接近经验分布时选择 $t_j$ 胜过 $t_i$，且误差概率可控。
• 通过浓度不等式对检验误差概率施加指数界，依赖于参数 $a$ 和通用常数 $A$ 的度量熵条件。
• 通过选择使 $\mathcal{D}_{\mathbf{X}}(t_i)$ 最小的模型，并施加惩罚项 $\sqrt{A a^{-1}}$，得到最终估计器 $\widehat{s}_A$。
• 建立尾部界 $\mathbb{P}_s[\mathcal{D}_{\mathbf{X}}(t_i) > x y_i] \leq B C(A) x^{-2A / \log 2}$（$x \geq 1$），从而实现风险的矩界。

实验结果

研究问题

• RQ1 能否为任意有限维模型下的L2损失密度估计建立通用风险界，即使真实密度无界？
• RQ2 真实密度未知的 $\mathbb{L}_\infty$-范数如何影响 $\mathbb{L}_2$-损失下的估计风险？
• RQ3 是否可以构造一种模型选择程序，自适应于真实密度未知的正则性，而无需事先知道其 $\mathbb{L}_\infty$-范数？
• RQ4 在损失为平方 $\mathbb{L}_2$-范数（不具有支配测度变换下的不变性）时，需要哪些理论工具以确保可靠的模型选择？
• RQ5 所提方法能否在非线性模型和无界密度下实现 $\mathbb{L}_2$-风险的最优收敛速率？

主要发现

• 所提估计器 $\widehat{s}_A$ 实现了风险界 $\mathbb{E}_s[d^q(\widehat{s}_A, s)] \leq B C(A,q) \inf_{i \geq 1} \left[ d^q(s,t_i) \vee (a^{-1} i 2^i)^{q/2} \right]$（$1 \leq q < 2A / \log 2$），该界在常数意义下为最优。
• 该方法提供了对真实密度 $s$ 未知的 $\mathbb{L}_\infty$-范数自适应的通用风险界，且无需事先知晓其光滑性或有界性。
• 证明了在 $\mathbb{L}_\infty$ 中以 $\mathbb{L}_2$-球为中心的检验构造存在，且是该方法理论有效性的核心。
• 该方法在有界和无界密度下均实现了 $\mathbb{L}_2$-风险的最优收敛速率，克服了现有方法仅适用于特殊情况的局限性。
• 该方法实现了在 $\mathbb{L}_2$-损失下对初步估计器的自适应估计与聚合，其理论保证目前无法通过具体方法实现。
• 尾部界 $\mathbb{P}_s[\mathcal{D}_{\mathbf{X}}(t_i) > x y_i] \leq B C(A) x^{-2A / \log 2}$ 确保了估计器几乎必然有限，且在期望下表现良好。