[论文解读] Conjugate Projective Limits

Peter Orbanz|arXiv (Cornell University)|Dec 2, 2010

Bayesian Methods and Mixture Models参考文献 33被引用 6

一句话总结

本文提出了一种投影极限框架，将共轭非参数贝叶斯模型表征为指数族及其共轭先验的无穷维类比。通过将非参数后验、充分统计量和共轭更新表示为有限维对应物的投影极限，该框架建立了一个统一理论，将狄利克雷过程和高斯过程等模型统一于同一共轭结构之下。

ABSTRACT

We characterize conjugate nonparametric Bayesian models as projective limits of conjugate, finite-dimensional Bayesian models. In particular, we identify a large class of nonparametric models representable as infinite-dimensional analogues of exponential family distributions and their canonical conjugate priors. This class contains most models studied in the literature, including Dirichlet processes and Gaussian process regression models. To derive these results, we introduce a representation of infinite-dimensional Bayesian models by projective limits of regular conditional probabilities. We show under which conditions the nonparametric model itself, its sufficient statistics, and -- if they exist -- conjugate updates of the posterior are projective limits of their respective finite-dimensional counterparts. We illustrate our results both by application to existing nonparametric models and by construction of a model on infinite permutations.

研究动机与目标

• 正式建立共轭非参数贝叶斯模型与无穷维指数族分布之间的结构联系。
• 利用条件概率的投影极限与有限维边缘分布，发展非参数贝叶斯模型的一般表示方法。
• 建立充分统计量与非参数模型后验更新为有限维类比的投影极限的条件。
• 在统一的理论框架下统一基本模型，如狄利克雷过程、高斯过程以及贝塔/伽马过程。
• 通过投影极限与拉回构造，系统性地构建新非参数模型，包括在无限排列上的模型。

提出的方法

• 利用柯尔莫哥洛夫延拓定理与广义投影极限构造，将非参数贝叶斯模型表示为有限维条件概率分布的投影极限。
• 引入拉回机制，以编码投影极限本身无法捕捉的几乎必然路径性质（如连续性、σ-可加性）。
• 将该框架应用于证明非参数模型中的充分统计量与后验更新为有限维对应物的投影极限。
• 利用指数族及其共轭先验的结构，定义一类无穷维模型，将指数族推广至非参数设置。
• 采用测度论工具，包括博雷尔嵌入、乘积空间映射（例如通过 ψ_n）、以及尾σ-代数性质，以验证投影族。
• 通过对称群模型的投影极限与虚排列的构造，展示了在无限排列上构建非参数模型的方法。

实验结果

研究问题

• RQ1 在何种条件下，非参数贝叶斯模型可表示为有限维共轭模型的投影极限？
• RQ2 如何将非参数模型的充分统计量与后验更新表征为有限维类比的投影极限？
• RQ3 哪一类无穷维模型对应于指数族及其规范共轭先验的非参数类比？
• RQ4 如何将连续性或σ-可加性等路径性质纳入随机过程的投影极限表示中？
• RQ5 能否利用此投影极限框架系统性地构建新非参数模型，如在无限排列上的模型？

主要发现

• 共轭非参数贝叶斯模型（包括狄利克雷过程与高斯过程）被证明为有限维指数族及其共轭先验的投影极限。
• 在温和的正则性条件下，非参数模型中的充分统计量与后验更新为有限维对应物的投影极限。
• 在无限排列上的模型通过对称群模型的投影极限构造，路径性质通过拉回构造编码。
• 当且仅当超参数属于 ℓ₁ 空间时，随机排列模型几乎必然属于虚排列群，该结论通过Borel-Cantelli引理验证。
• 无限排列模型的后验分布为条件分布的投影族，通过测度论拉回与乘积空间结构验证。
• 该框架提供了一种通用方法，通过结合投影极限与适当的拉回构造，系统性地构建新非参数模型，超越现有构造。