[论文解读] Feature allocations, probability functions, and paintboxes

Tamara Broderick, Jim Pitman+1 more|arXiv (Cornell University)|Jan 28, 2013

Bayesian Methods and Mixture Models参考文献 14被引用 6

一句话总结

本文通过定义交换特征概率函数（EFPF）和特征画板（feature paintbox），提出了一种用于可交换特征分配的一般框架，其类比于聚类中的EPPF和Kingman画板。研究证明，可交换特征分配等价于由特征画板生成的模型，且特征计数的极限分布由泊松分布与给定尾σ代数条件下的独立伯努利分量构成。

ABSTRACT

The problem of inferring a clustering of a data set has been the subject of much research in Bayesian analysis, and there currently exists a solid mathematical foundation for Bayesian approaches to clustering. In particular, the class of probability distributions over partitions of a data set has been characterized in a number of ways, including via exchangeable partition probability functions (EPPFs) and the Kingman paintbox. Here, we develop a generalization of the clustering problem, called feature allocation, where we allow each data point to belong to an arbitrary, non-negative integer number of groups, now called features or topics. We define and study an "exchangeable feature probability function" (EFPF)---analogous to the EPPF in the clustering setting---for certain types of feature models. Moreover, we introduce a "feature paintbox" characterization---analogous to the Kingman paintbox for clustering---of the class of exchangeable feature models. We provide a further characterization of the subclass of feature allocations that have EFPF representations.

研究动机与目标

• 将贝叶斯非参数模型的理论基础从聚类扩展至特征分配，允许数据点属于多个群体。
• 定义交换特征概率函数（EFPF）作为聚类模型中EPPF的类比。
• 引入特征画板作为可交换特征分配的生成机制，类比于Kingman画板对划分的生成作用。
• 建立可交换特征分配、EFPF可表示模型与特征画板生成模型之间的等价性。
• 通过泊松分布与独立伯努利分量刻画可交换特征分配中特征计数的极限分布。

提出的方法

• 提出交换特征概率函数（EFPF）作为特征大小对称函数，推广用于划分的EPPF。
• 引入特征画板作为通过从单位区间随机子集独立抽取生成可交换特征分配的方法。
• 使用反向σ代数滤链（ξ_N）分析当N → ∞时特征计数的极限行为。
• 应用反向鞅收敛定理，证明P( # = j | ξ_N)几乎必然收敛至P( # = j | ξ_∞)，从而可应用引理19。
• 运用引理19，刻画在给定尾σ代数条件下的总特征数极限分布为泊松与独立伯努利随机变量之和。
• 证明对于特征频率模型，特征画板构造尤为直接，特征大小可直接决定画板集合。

实验结果

研究问题

• RQ1 在数据点可属于多个群体的特征分配背景下，交换划分概率函数（EPPF）的类比是什么？
• RQ2 如何将Kingman画板构造推广至特征分配，以提供可交换特征分配的生成模型？
• RQ3 在何种条件下，可交换特征分配可表示为EFPF形式？
• RQ4 当数据点数量增加时，可交换特征分配中特征数的极限分布是什么？
• RQ5 特征频率模型如何与特征分配的一般理论相关联？它们在画板构造中扮演何种角色？

主要发现

• 可交换特征分配等价于由特征画板生成的模型，正如可交换划分等价于由Kingman画板生成的模型。
• 交换特征概率函数（EFPF）是特征大小的对称函数，将EPPF推广至特征分配设置。
• 在给定尾σ代数ξ_∞的条件下，总特征数的极限分布为泊松变量与独立伯努利变量之和。
• 极限分布的参数——λ（泊松强度）与{p_k}（伯努利概率）——是关于尾σ代数ξ_∞可测的随机变量。
• 对于特征频率模型，特征画板构造极为直接，特征集合可由其相对大小直接定义。
• 图1的维恩图证实，随机划分是随机特征分配的特例，将经典聚类结果嵌入新框架之中。