[论文解读] Forest Density Estimation

Han Liu, Min Xu+4 more|arXiv (Cornell University)|Jan 10, 2010

Bayesian Modeling and Causal Inference参考文献 28被引用 81

一句话总结

该论文提出了一种用于高维数据的非参数森林密度估计方法，通过核密度估计方法对一元和二元边际分布进行估计，随后在预留数据上应用Kruskal算法构建最优森林。该方法建立了Oracle不等式，表明超出风险被有界为 $ O_P\left(\sqrt{\log(nd)}\left(\frac{k^* + \hat{k}}{n^{\beta/(2+2\beta)}} + \frac{d}{n^{\beta/(1+2\beta)}}\right)\right) $，在Hölder光滑性假设下证明了统计一致性。

ABSTRACT

We study graph estimation and density estimation in high dimensions, using a family of density estimators based on forest structured undirected graphical models. For density estimation, we do not assume the true distribution corresponds to a forest; rather, we form kernel density estimates of the bivariate and univariate marginals, and apply Kruskal's algorithm to estimate the optimal forest on held out data. We prove an oracle inequality on the excess risk of the resulting estimator relative to the risk of the best forest. For graph estimation, we consider the problem of estimating forests with restricted tree sizes. We prove that finding a maximum weight spanning forest with restricted tree size is NP-hard, and develop an approximation algorithm for this problem. Viewing the tree size as a complexity parameter, we then select a forest using data splitting, and prove bounds on excess risk and structure selection consistency of the procedure. Experiments with simulated data and microarray data indicate that the methods are a practical alternative to Gaussian graphical models.

研究动机与目标

• 开发一种无需假设正态性的高维密度估计非参数方法。
• 利用树状结构的无向图模型估计分布的图结构。
• 为所提出的估计器建立理论保证——风险一致性和结构选择一致性。
• 通过数据分割选择最优森林结构，避免高维情况下的过拟合。
• 为高斯图模型提供一个具有理论支持的实用替代方案。

提出的方法

• 在训练数据子集上使用核密度估计器估计一元和二元边际密度。
• 使用预留数据计算变量对之间的经验互信息，形成边权重。
• 对互信息矩阵应用Kruskal算法，构建最大权重生成森林。
• 采用数据分割策略：在第一份划分上训练边际密度，在第二份预留数据上选择森林结构，以避免过拟合。
• 将树的大小视为复杂度参数，并通过预留风险最小化选择最优森林。
• 在真实密度满足Hölder光滑性假设以及核条件成立的前提下，证明理论性质。

实验结果

研究问题

• RQ1 基于树状结构图模型的非参数密度估计器是否能在不假设正态性的高维情况下实现风险一致性？
• RQ2 所提出的估计器相对于最优森林模型的超出风险是多少？
• RQ3 随着样本量增加，所选森林结构是否能以高概率正确恢复真实图结构？
• RQ4 在估计精度和结构恢复方面，该方法与高斯图模型相比表现如何？
• RQ5 在受限树大小条件下，寻找最大权重生成森林的问题是否能高效求解？其性能的理论边界是什么？

主要发现

• 所提出估计器相对于最优森林的超出风险被有界为 $ O_P\left(\sqrt{\log(nd)}\left(\frac{k^* + \hat{k}}{n^{\beta/(2+2\beta)}} + \frac{d}{n^{\beta/(1+2\beta)}}\right)\right) $，在Hölder光滑性假设下建立了风险一致性。
• 证明了结构选择一致性：随着样本量增加，该方法以高概率正确恢复真实森林结构。
• 受限树大小的最大权重生成森林问题为NP难，但本文提供了具有理论保证的近似算法。
• 在模拟数据和微阵列数据上，该方法的性能优于高斯图模型，尤其当真实分布非正态时表现更优。
• 计算复杂度为 $ O(m^2 n_1 d^2) $，通过预计算和循环重排优化实现，减少了冗余运算。
• 理论分析证实了在标准光滑性和核条件下的核密度估计和互信息矩阵的估计一致性。