[论文解读] High-dimensional nonparametric density estimation via symmetry and shape constraints

Min Xu, Richard J. Samworth|arXiv (Cornell University)|Mar 14, 2019

Point processes and geometric inequalities参考文献 40被引用 8

一句话总结

本文提出一种基于对称性与形状约束的高维非参数密度估计方法——具体而言是K-位似对称的对数凹密度，其中超水平集是凸体K的标量倍数。通过利用对数凹性和位似性，该方法在维度p无关的情况下实现了O(n⁻⁴/⁵)的最坏情况平方Hellinger风险，避免了维度灾难，并在生成函数为分段线性且分段数较少时实现接近参数速率的自适应性能。

ABSTRACT

We tackle the problem of high-dimensional nonparametric density estimation by taking the class of log-concave densities on $\mathbb{R}^p$ and incorporating within it symmetry assumptions, which facilitate scalable estimation algorithms and can mitigate the curse of dimensionality. Our main symmetry assumption is that the super-level sets of the density are $K$-homothetic (i.e. scalar multiples of a convex body $K \subseteq \mathbb{R}^p$). When $K$ is known, we prove that the $K$-homothetic log-concave maximum likelihood estimator based on $n$ independent observations from such a density has a worst-case risk bound with respect to, e.g., squared Hellinger loss, of $O(n^{-4/5})$, independent of $p$. Moreover, we show that the estimator is adaptive in the sense that if the data generating density admits a special form, then a nearly parametric rate may be attained. We also provide worst-case and adaptive risk bounds in cases where $K$ is only known up to a positive definite transformation, and where it is completely unknown and must be estimated nonparametrically. Our estimation algorithms are fast even when $n$ and $p$ are on the order of hundreds of thousands, and we illustrate the strong finite-sample performance of our methods on simulated data.

研究动机与目标

• 通过引入形状与对称性约束，解决高维非参数密度估计中的维度灾难问题。
• 为n和p达到数十万量级的高维数据开发可扩展、无需调参的估计算法。
• 在未知超水平集K和中心向量µ的各种假设下，建立理论风险界。
• 证明对低复杂度密度（如分段线性生成函数）的自适应性能，实现接近参数速率。
• 当K和µ未知时，提供一种计算高效的插值方法以估计K和µ，包括一种新颖的基于凸包的非参数K估计算法。

提出的方法

• 将K-位似对数凹密度类定义为f(x) = exp(φ(‖x−µ‖_K))，其中φ为凹函数且单调递减，‖·‖_K为凸体K的闵可夫斯基泛函。
• 在K-位似对数凹密度类中使用最大似然估计器（MLE），由于无需调参，计算上是可行的。
• 从具有有限均值的分布类到K-位似对数凹密度类，建立一个位似对称且对数凹的投影ψ*_{K,µ}，从而实现插值估计器 ˆfn = ψ*_{K̂,μ̂}(P_n)。
• 通过计算随机方向上边界估计的凸包来提出K的非参数估计器，其中边界估计为各方向周围圆锥内数据点的平均欧氏范数。
• 利用发散度度量d²_X(ˆfn, f₀) = (1/n)∑ log(ˆfn(X_i)/f₀(X_i))推导风险界，该度量上界包含Kullback–Leibler、平方Hellinger和总变差风险。
• 应用几何概率工具，包括Hausdorff距离与尺度失真（dscale），以控制估计超水平集与真实超水平集之间的偏差。

实验结果

研究问题

• RQ1 能否利用对称性与形状约束，在高维非参数密度估计中实现更快的收敛速率？
• RQ2 当K和µ已知时，K-位似对数凹MLE的理论风险界是什么？其是否依赖于维度p？
• RQ3 当真实密度对应的生成函数为简单形式（如分段线性φ）时，估计器如何实现自适应？
• RQ4 当K和µ未知且必须估计时，特别是在半参数与非参数设定下，风险界如何？
• RQ5 能否在位似与对数凹约束下，构建一种可扩展、无需调参的高维密度估计算法？

主要发现

• 当K和µ已知时，K-位似对数凹MLE的最坏情况平方Hellinger风险为O(n⁻⁴/⁵)，与维度p无关。
• 当真实密度对应于具有k段的分段线性生成函数时，风险界为O(k/n log⁵/⁴(en/k))，当k较小时趋近于接近参数速率。
• 在半参数设定下，若K = Σ₀¹ᐟ²K₀（K₀已知，Σ₀未知），最坏情况平方Hellinger风险为O(p³ᐟ²/n¹ᐟ²)，仅含对数因子。
• 在半参数设定下，对于光滑或1-仿射生成函数，自适应速率分别为O(n⁻⁴ᐟ⁵ + p³/n)与O(p³/n)，同样仅含对数因子。
• 在非参数设定下，当K为任意凸体时，所提出的基于凸包的K估计器实现最坏情况平方Hellinger风险为O((log M / M)¹ᐟᵖ⁻¹)，其中M为随机方向数。
• 实证研究证实了该方法在有限样本下具有优异性能，即使在n, p ~ 10⁵时也能实现快速计算，且在高维下优于标准非参数方法。