[论文解读] Mixture Decomposition of Distributions using a Decomposition of the Sample Space

Guido Montúfar|arXiv (Cornell University)|Aug 1, 2010

Bayesian Methods and Mixture Models参考文献 9被引用 1

一句话总结

本文研究了在对样本空间进行划分的基础上，对 N 个二元随机变量上的概率分布进行混合分解，以分析来自指数族的分量分布。证明了当分量相互独立时，m ≥ 2^N−1 个混合分量在表示任意分布时既必要又充分，从而建立了模型容量的紧致界。

ABSTRACT

We consider the set of join probability distributions of N binary random variables which can be written as a sum of m distributions in the following form p(x1,..., xN) =∑m i=1 αifi(x1,..., xN), where αi ≥ 0, ∑m i=1 αi = 1, and the fi(x1,..., xN) belong to some exponential family. For our analysis we decompose the sample space into portions on which the mixture components fi can be chosen arbitrarily. We derive lower bounds on the number of mixture components from a given exponential family necessary to represent distributions with arbitrary correlations up to a certain order or to represent any distribution. For instance, in the case where fi are independent distributions we show that every distribution p on {0, 1}N is contained in the mixture model whenever m ≥ 2N−1, and furthermore, that there are distributions which are not contained in the mixture model whenever m < 2N−1.

研究动机与目标

• 确定表示 N 个二元随机变量上任意联合分布所需的最少混合分量数量。
• 分析由指数族分布构建的混合模型的表示能力。
• 推导出捕捉任意相关性结构至给定阶数所需的最少分量数量的紧下界。
• 识别出分布位于给定大小混合模型中的条件。

提出的方法

• 将样本空间 {0, 1}^N 划分为不相交的区域，使得每个混合分量 fi 可以在各自区域内独立选择。
• 混合模型定义为 p(x) = ∑_{i=1}^m α_i f_i(x)，其中 α_i ≥ 0 且 ∑ α_i = 1。
• 分析聚焦于 fi 为独立分布的情形，这是指数族的一个特例。
• 通过考察具有任意相关性至给定阶数的分布空间的维数，推导出 m 的下界。
• 证明利用组合与线性代数论证，表明 2^N−1 个分量在实现完全表示能力时既必要又充分。
• 关键洞见在于，样本空间的分解使得每个区域内分量行为可独立控制，从而实现紧致界。

实验结果

研究问题

• RQ1 对于 N 个二元变量上的任意联合分布，混合模型所需的最少分量数量 m 是多少？
• RQ2 当混合分量为指数族中的独立分布时，{0, 1}^N 上的所有分布是否都能被表示？
• RQ3 混合分量数量与可捕捉的相关性阶数之间有何关系？
• RQ4 是否存在一个关于 m 的紧致界，可保证此类混合模型具有完全的表示能力？
• RQ5 样本空间的何种结构性质能够促进或限制任意分布的表示？

主要发现

• {0, 1}^N 上的任意分布均可表示为 m = 2^N−1 个独立指数族分布的混合。
• 存在 {0, 1}^N 上的某些分布，无法用少于 2^N−1 个混合分量表示。
• 当混合分量相互独立时，m ≥ 2^N−1 的界既必要又充分。
• 该结果特指混合分量相互独立的情形，凸显了独立性在实现完全表示能力中的作用。
• 将样本空间划分为 m 个区域，可构造出整个概率单纯形的基，从而解释了该界为何是紧致的。
• 分析表明，为实现通用表示，混合分量数量必须随 N 呈指数级增长。