[论文解读] Dependent Random Density Functions with Common Atoms and Pairwise Dependence

Spyridon J. Hatjispyros, Theodoros Nicoleris+1 more|arXiv (Cornell University)|Oct 24, 2015

Bayesian Methods and Mixture Models参考文献 13被引用 3

一句话总结

本文提出一种依赖性随机密度模型，其中多个狄利克雷过程混合模型共享相同的原子，以诱导成对依赖关系，从而实现度量间Lp距离的精确计算。通过重新加权共享原子，该方法在显著降低计算复杂度的同时，实现了灵活的依赖结构，相较于独立原子的模型更具优势。

ABSTRACT

The paper is concerned with constructing pairwise dependence between $m$ random density functions each of which is modeled as a mixture of Dirichlet process model. The key to this is how to create dependencies between random Dirichlet processes. The present paper adopts a plan previously used for creating pairwise dependence, with the simplification that all random Dirichlet processes share the same atoms. Our contention is that for all dependent Dirichlet process models, common atoms are sufficient. We show that by adopting common atoms, it is possible to compute the $L_p$ distances between all pairs of random probability measures.

研究动机与目标

• 开发一种在贝叶斯非参数模型中诱导m个随机概率测度之间成对依赖关系的方法。
• 通过约束所有随机狄利克雷过程共享相同原子，简化依赖建模，降低模型复杂度。
• 通过利用共同支撑，实现对依赖随机测度之间Lp距离的精确计算。
• 通过避免为每个测度采样独立原子，特别是在线性吉布斯采样中，提升计算效率。
• 证明共享原子足以对密度之间的任意相似度或差异度进行建模。

提出的方法

• 将每个随机概率测度 $\mathbb{P}_j$ 构造为具有跨所有 $j$ 相同原子 $\theta_k$ 的狄利克雷过程混合模型。
• 通过截断杆破除过程对每个 $\mathbb{P}_j$ 的权重 $w_{jk}$ 建模，通过共享原子和可变权重实现依赖关系。
• 采用狄利克雷过程的构造定义：$\mathbb{P}_j = \sum_{k=1}^\infty w_{jk} \delta_{\theta_k}$，其中 $\theta_k$ 为从基测度 $P_0$ 独立同分布抽取。
• 利用相同支撑直接计算测度间的 $L_p$ 距离，实现相似性的精确量化。
• 应用吉布斯采样估计后验分布，时间复杂度通过避免采样 $m(m+1)/2$ 个独立原子集合而降低。
• 通过使权重 $w_k(z)$ 依赖协变量，同时保持共享原子 $\theta_k$ 不变，将该框架扩展至回归设置。

实验结果

研究问题

• RQ1 是否可通过狄利克雷过程间共享原子，有效建模m个随机密度函数之间的成对依赖？
• RQ2 使用共享原子是否能实现依赖随机测度之间Lp距离的精确且计算高效的计算？
• RQ3 在聚类性能方面，共享原子模型与独立原子模型相比，强度借用效果如何？
• RQ4 共享原子假设是否足以捕捉密度之间任意程度的相似性或差异性？
• RQ5 在吉布斯采样中，共享原子方法相较于独立原子模型具有何种计算优势？

主要发现

• 在伽马-正态-伽马示例中，CAPDDP模型因共享原子，聚类运行平均值为3.075，而PDDP模型因独立原子，聚类平均值仅为1.571。
• 在正态3分量混合示例中，CAPDDP实现平均4.861个聚类，显著高于PDDP的3.090个，表明其强度借用能力更强。
• 在真实数据示例中，CAPDDP报告平均5.045个聚类，而PDDP仅报告3.090个，证实共享原子下聚类性能更优。
• 在第二组数据中，CAPDDP的选取概率 $p_{22}$ 为0.301，而PDDP为0.167，表明共享原子模型中强度借用更显著。
• CAPDDP与PDDP之间的时间复杂度差值 $\Delta T$ 按 $\propto \left(\frac{m(m+1)}{2} - 1\right) N^* \sum_{j=1}^m n_j$ 的比例增长，表明共享原子可带来显著的计算节省。
• 通过仅调节权重，该模型可实现测度之间任意接近程度的建模，且因共享支撑，距离可被精确计算。