[论文解读] Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures

Catia Scricciolo|arXiv (Cornell University)|Oct 30, 2012

Bayesian Methods and Mixture Models参考文献 37被引用 4

一句话总结

本文提出使用Pitman-Yor或归一化逆高斯过程核混合作为先验，实现自适应贝叶斯密度估计，在Sobolev和解析密度类上，于$L^p$-范数下达到几乎最优的后验收缩率（对数因子内）。关键贡献在于，首次在不同光滑性类上建立了层次贝叶斯程序的频率学最优性，对解析密度类实现近乎参数化的收缩率，对Sobolev类在特定先验下达到最优率。

ABSTRACT

We consider Bayesian nonparametric density estimation using a Pitman-Yor or a normalized inverse-Gaussian process kernel mixture as the prior distribution for a density. The procedure is studied from a frequentist perspective. Using the stick-breaking representation of the Pitman-Yor process or the expression of the finite-dimensional distributions for the normalized-inverse Gaussian process, we prove that, when the data are replicates from an infinitely smooth density, the posterior distribution concentrates on any shrinking $L^p$-norm ball, $1\leq p\leq\infty$, around the sampling density at a \emph{nearly parametric} rate, up to a logarithmic factor. The resulting hierarchical Bayesian procedure, with a fixed prior, is thus shown to be adaptive to the infinite degree of smoothness of the sampling density.

研究动机与目标

• 研究使用Pitman-Yor或归一化逆高斯（NIG）过程先验的贝叶斯非参数密度估计的频率学后验收缩率。
• 将现有结果从狄利克雷过程推广至更一般的随机过程，以实现对Sobolev和解析密度类的自适应估计。
• 评估在$L^p$-范数下（特别是$p > 2$）核混合模型的性能，并评估先验选择对收敛率的影响。
• 建立后验集中达到最小最大最优性（对数因子内）的条件，适用于不同光滑性水平。

提出的方法

• 利用Pitman-Yor过程的棒破表示法和归一化逆高斯过程的有限维分布来刻画先验分布。
• 采用一般核（如超核）的核混合模型来逼近密度，特别利用傅里叶变换的性质处理解析函数。
• 应用逼近理论，构造具有紧支集的混合测度，使其在Kullback-Leibler误差上达到正确阶次，适用于解析密度情形。
• 通过$L^1$-混合测度球的度量熵界来控制先验集中和后验收缩。
• 利用对称、单调递减核的性质，建立不同方差混合模型之间$L^1$-距离的界。
• 利用引理0.7.9及相关结果，推导出具有紧支集混合测度的混合模型在一致范数下的逼近误差的统一界。

实验结果

研究问题

• RQ1 Pitman-Yor或归一化逆高斯过程先验能否在非参数密度估计中，于$L^p$-范数下实现最小最大最优的后验收缩率？
• RQ2 Pitman-Yor过程中折扣参数的影响为何？尤其在$p > 2$时，其对后验收缩率有何影响？
• RQ3 能否通过这些先验实现解析密度的近乎参数化后验收缩率？若能，需满足何种条件？
• RQ4 核的选择（如超核）如何影响逼近精度及最终的后验集中？
• RQ5 在该框架中，先验集中和度量熵界在多大程度上决定了后验收缩率？

主要发现

• 对于Sobolev密度类，在使用狄利克雷或归一化逆高斯过程先验时，后验在$L^p$-范数下（$p \in [1,2]$）以最小最大最优率（对数因子内）收缩至真实密度。
• 当$p > 2$时，相同先验下后验收缩率会因$n$的真正幂次而恶化，表明在更高$L^p$-范数下失去最优性。
• 当使用严格正折扣参数的Pitman-Yor过程时，预期后验收缩率将次优，尽管未提供正式证明。
• 对于具有指数衰减傅里叶变换的解析密度，可实现近乎参数化的后验收缩率，且傅里叶变换的特征指数可被自动恢复。
• 逼近引理（引理0.6.1）使得能够构造一个具有紧支集的有限支撑混合分布，其在Kullback-Leibler散度下的误差达到正确阶次，这对解析情形至关重要。
• 推导出$L^1$-混合测度球的度量熵界，显示其对$\varepsilon$和$s$具有对数依赖性，且$N \lesssim (a/s)^{r/(r-1)}$（$r > 1$），从而控制先验集中。