[论文解读] Multivariate Density Estimation via Adaptive Partitioning (I): Sieve MLE

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|Jan 12, 2014

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

该论文提出了一种基于自适应二元划分的非参数多元密度估计方法，通过筛子最大似然法构建分段常数密度估计器。关键贡献是在特定光滑性条件下，收敛速率与维度无关，展示了对维度灾难的免疫能力，并在高维设置下实现了接近参数化的速率。

ABSTRACT

We study a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of the sieve maximum likelihood estimator, and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality, in the sense that it is possible to get close to the parametric rate even in high dimensions. We also apply this method to several special cases, and calculate the explicit convergence rates respectively.

研究动机与目标

• 开发一种在传统方法失效的高维设置下仍有效的非参数多元密度估计方法。
• 通过构建收敛速率不随维度增加而恶化的估计器，解决密度估计中的维度灾难问题。
• 设计一种数据自适应的划分方案，从数据中学习最优直方图结构，提高灵活性和准确性。
• 在真实密度的一般光滑性条件下，建立筛子最大似然估计器的理论收敛速率。
• 证明有效维度（而非环境维度）决定了收敛速率，从而在高维稀疏结构中实现性能。

提出的方法

• 该方法使用定义在样本空间二元划分上的分段常数密度函数，其中划分通过在直方图上最大化似然函数来学习。
• 筛子MLE框架选择使观测数据在分段常数密度模型下对数似然最大的划分。
• 通过沿坐标轴递归分割空间实现自适应划分，使方法能将分辨率集中在高密度或高复杂度区域。
• 该方法利用哈尔小波基函数在 dyadic 划分上表示密度，从而实现高效计算和近似分析。
• 理论分析使用熵和度量熵论证来界定近似误差，并以有效维度表示收敛速率。
• 对估计密度进行归一化，确保其保持为有效的概率密度函数，同时保留收敛性质。

实验结果

研究问题

• RQ1 非参数密度估计器是否能在不假设稀疏性或低内在维度的高维设置下实现快速收敛速率？
• RQ2 在筛子MLE框架中使用自适应二元划分是否能导致与环境维度无关的收敛速率？
• RQ3 收敛速率如何依赖于真实密度的光滑性以及潜在分布的有效维度？
• RQ4 该方法是否能自动检测并聚焦于高维数据中的相关变量，即使相关维度的数量未知？
• RQ5 在高维下，一般光滑性假设下，基于直方图的密度估计器的性能理论极限是什么？

主要发现

• 基于自适应二元划分的筛子MLE在 $ L^2 $-范数下的收敛速率为 $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $，该表达式可简化为 $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $，但更精确地说，其速率为 $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $，表明其具有接近参数化的性能。
• 收敛速率仅依赖于有效维度 $ ilde{p} $，而不依赖于环境维度 $ p $，展示了对维度灾难的免疫能力。
• 对于仅依赖于 $ ilde{p} $ 个变量的 $ p $-维密度，收敛速率为 $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $，当 $ ilde{p} $ 较小时，该速率接近参数速率 $ n^{-1/2} $。
• 近似误差被界定为 $ I^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} ( ext{log } I)^{ ilde{p}/2} $，其中 $ I $ 为划分大小，表明该方法能自适应于真实密度的复杂度。
• 该方法在各向异性的 Hölder 类和 Besov 类上达到了极小极大速率（对数因子内），证实其在广泛非参数类中的最优性。
• 理论分析证实，该方法可在不预先知晓有效子空间的情况下，自动检测并聚焦于高维数据中的相关变量。