[论文解读] Mixture decompositions of exponential families using a decomposition of their sample spaces

Guido Montúfar|arXiv (Cornell University)|Aug 1, 2010

Limits and Structures in Graph Theory参考文献 26被引用 15

一句话总结

本文提出了一种新方法，用于确定表示目标指数族中任意分布所需的混合模型中最小分量数，方法结合凸多面体的组合几何与编码理论。研究证明，任意 $N$ 个 $q$-元变量的分布可表示为 $q^{N-1}$ 个独立 $q$-元变量的混合，任意二值分布可表示为 $2^{N-(k+1)}(1 + 1/(2^k - 1))$ 个 $k$-相互作用族元素的混合，从而解决了长期存在的关于混合模型表达能力的疑问。

ABSTRACT

We study the problem of finding the smallest $m$ such that every element of an exponential family can be written as a mixture of $m$ elements of another exponential family. We propose an approach based on coverings and packings of the face lattice of the corresponding convex support polytopes and results from coding theory. We show that $m=q^{N-1}$ is the smallest number for which any distribution of $N$ $q$-ary variables can be written as mixture of $m$ independent $q$-ary variables. Furthermore, we show that any distribution of $N$ binary variables is a mixture of $m = 2^{N-(k+1)}(1+ 1/(2^k-1))$ elements of the $k$-interaction exponential family.

研究动机与目标

• 确定最小数量 $m$，使得某一指数族中的任意分布均可表示为另一指数族中 $m$ 个分布的凸组合。
• 解决关于混合模型表达能力与维度的开放问题，特别是针对独立与 $k$-相互作用指数族。
• 为使用独立或 $k$-相互作用分布混合表示 $N$ 维有限取值变量的联合表中所有分布的最小 $m$ 建立紧致界。
• 将混合模型的复杂度与组合结构（如边际多面体的面格与编码理论中的覆盖码）联系起来。

提出的方法

• 利用凸支撑多面体（边际多面体）的面格的覆盖与打包来分析混合分量需求。
• 应用编码理论结果，特别是覆盖码与球覆盖界，以估计最小混合规模。
• 将 $S$-集表征为边际多面体中的面集，其对应于充分统计量空间中的单形。
• 利用对称性与群作用（例如 $x \mapsto x*y$）证明 $S$-集在变换下的不变性，从而支持结构分析。
• 运用 Gale 的偶性准则与循环多面体的组合等价性，计算面数并界定 $S$-集的大小。
• 通过充分统计量矩阵 $\sigma(\Delta, \mathcal{Y})$ 的参数计数与秩条件，推导出集合为 $S$-集的必要与充分条件。

实验结果

研究问题

• RQ1 对于 $N$ 个 $q$-元变量的任意分布，表示为 $m$ 个独立 $q$-元变量分布的混合时，最小的 $m$ 是多少？
• RQ2 对于 $\{0,1\}^N$ 上的任意分布，表示为 $m$ 个 $k$-相互作用指数族分布的混合时，最小的 $m$ 是多少？
• RQ3 边际多面体及其面格的结构如何约束指数族表示的最小混合规模？
• RQ4 能否利用覆盖半径与最小击中集的编码理论界，推导出混合复杂性的紧致界？
• RQ5 $S$-集在边际多面体中的关系与概率张量的非负外积秩之间有何关联？

主要发现

• 表示 $\{1,\ldots,q\}^N$ 上任意分布所需的独立 $q$-元变量分布的最小数量为 $m = q^{N-1}$，当 $q$ 为素数幂时该界是紧致的。
• 对于二值变量，$\{0,1\}^N$ 上的任意分布可表示为最多 $2^{N-(k+1)}(1 + 1/(2^k - 1))$ 个 $k$-相互作用族分布的混合。
• $q^{N-1}$ 的界超过了朴素参数计数的预期，表明独立变量混合模型的表达能力高于以往认知。
• $k$-相互作用模型中 $N$ 维概率表的最大非负外积秩受 $2^{N-(k+1)}(1 + 1/(2^k - 1))$ 限制，该值对应于完整表示所需的最小 $m$。
• $k$-相互作用模型边际多面体中 $S$-集的数量受充分统计量空间中最大单形大小的限制，其大小至多为 $|B_{N,k}|$，即半径为 $k$ 的汉明球大小。
• $\{0,1\}^N$ 中所有 $(k+1)$-维圆柱集的击中集的最小大小等于半径为 $k+1$ 的二元码的覆盖半径，该量提供了 $S$-集大小的下界。