[论文解读] Borrowing strength in hierarchical Bayes: convergence of the Dirichlet base measure

XuanLong Nguyen|arXiv (Cornell University)|Jan 4, 2013

Statistical Methods and Inference被引用 3

一句话总结

本文在几何稀疏性条件下，利用运输距离研究了层次狄利克雷过程中基测度的收敛速率。结果表明，通过在多个组间共享信息，可显著提升估计效率，使收敛速率从非参数速率提升至参数速率。

ABSTRACT

This paper studies posterior concentration behavior of the base probability measure $G$ of a Dirichlet measure $\mathcal{D}_{\alpha G}$, given observations associated with $m$ Dirichlet processes sampled from $\mathcal{D}_{\alpha G}$, as $m$ and the number of observations $m imes n$ tend to infinity. The base measure itself is endowed with another Dirichlet prior, a construction known as the hierarchical Dirichlet processes (Teh et al, 2006). Convergence rates are established in transportation distances (i.e. Wasserstein metrics) under various geometrically sparse conditions on the support of the true base measure. As a consequence of the theory we demonstrate the benefit of borrowing strength in the inference of multiple groups of data --- a heuristic argument commonly used to motivate hierarchical modeling. In certain settings, the gain in efficiency due to the latent hierarchy can be dramatic, improving from a standard nonparametric rate to a parametric rate of convergence. Tools developed include transportation distances for nonparametric Bayesian hierarchies of random measures, the existence of tests for Dirichlet measures, and geometric properties of the support of Dirichlet measures.

研究动机与目标

• 分析随着数据量增加，层次狄利克雷过程中基测度的后验集中行为。
• 通过严格的收敛理论，形式化非参数贝叶斯建模中跨组'共享信息'的启发式方法。
• 在基测度支持具有几何稀疏性条件下，建立基测度在 Wasserstein 范数下的收敛速率。
• 开发用于检验狄利克雷测度并分析其支持几何性质的工具，适用于层次非参数模型。

提出的方法

• 使用运输距离（Wasserstein 范数）衡量层次狄利克雷过程框架下基测度的收敛性。
• 为基测度 $ G $ 赋予狄利克雷先验，形成如 Teh 等人（2006）所述的层次狄利克雷过程。
• 分析当组数 $ m $ 和总观测数 $ m imes n $ 均趋于无穷大时的渐近行为。
• 对真实基测度的支持施加几何稀疏性条件，以推导收敛速率。
• 采用诸如狄利克雷测度的检验存在性以及支持结构的几何分析等工具。
• 在真实基测度满足正则性和稀疏性假设的条件下，建立理论收敛速率。

实验结果

研究问题

• RQ1 随着来自多个组的数据不断累积，层次狄利克雷过程中基测度的后验集中行为如何演变？
• RQ2 真实基测度支持的何种条件可确保在运输距离下实现快速收敛速率？
• RQ3 在非参数贝叶斯模型中，跨组共享信息在多大程度上能提升估计效率？
• RQ4 层次结构是否可使收敛速率从标准的非参数速率提升至参数速率？
• RQ5 分析非参数贝叶斯层次随机测度模型中收敛性的必要理论工具是什么？

主要发现

• 在真实基测度支持满足几何稀疏性条件下，基测度的后验分布收敛速率可达到参数速率，而非非参数速率。
• 通过在多个组间共享信息，层次结构实现了显著的效率提升，收敛速度远快于独立的非参数推断。
• 在 Wasserstein 范数下建立了收敛速率，为层次模型中分布比较提供了严格的理论基础。
• 证明了狄利克雷测度的检验存在性，支持了后验集中行为的理论分析。
• 狄利克雷测度支持的几何性质被证明在决定收敛行为中起关键作用。
• 该理论正式证明了层次建模中'共享信息'这一常见启发式方法的合理性，表明在有利条件下可实现参数速率的收敛。