[论文解读] Marginalization in Composed Probabilistic Models

Radim Jiroušek|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用 12

一句话总结

本文提出了一种通过低维分布的组合构建多维概率模型的程序化框架，重点研究任意生成序列中的边缘化问题。它提出一个关键定理，通过从任意原始序列导出新的生成序列，实现对边缘分布的计算，借助对有限域上变量的求和实现变量消去，从而实现局部计算。

ABSTRACT

Composition of low-dimensional distributions, whose foundations were laid in the papaer published in the Proceeding of UAI'97 (Jirousek 1997), appeared to be an alternative apparatus to describe multidimensional probabilistic models. In contrast to Graphical Markov Models, which define multidomensinoal distributions in a declarative way, this approach is rather procedural. Ordering of low-dimensional distributions into a proper sequence fully defines the resepctive computational procedure; therefore, a stury of different type of generating sequences is one fo the central problems in this field. Thus, it appears that an important role is played by special sequences that are called perfect. Their main characterization theorems are presetned in this paper. However, the main result of this paper is a solution to the problem of margnialization for general sequences. The main theorem describes a way to obtain a generating sequence that defines the model corresponding to the marginal of the distribution defined by an arbitrary genearting sequence. From this theorem the reader can see to what extent these comutations are local; i.e., the sequence consists of marginal distributions whose computation must be made by summing up over the values of the variable eliminated (the paper deals with finite model).

研究动机与目标

• 解决通过低维分布组合构建的概率模型中的边缘化挑战。
• 表征组合模型中生成序列（尤其是完美序列）的结构与性质。
• 为由任意生成序列定义的组合模型，开发一种计算边缘分布的一般方法。
• 建立通过序列变换实现高效且局部边缘化的条件。

提出的方法

• 本文引入一种模型构建的程序化方法，其中低维分布的顺序定义了计算过程。
• 它将生成序列定义为用于构建完整联合分布的条件或联合分布的有序列表。
• 主要方法涉及将任意生成序列转换为一个新序列，该序列可生成目标变量子集上的边缘分布。
• 该转换依赖于对不在目标集合中的变量进行求和（边缘化），基于原始序列进行局部计算。
• 该方法基于有限域，确保所有求和均可计算且定义良好。
• 本文证明了一个主要定理，表明此类边缘生成序列存在，并可从任意原始序列系统地推导得出。

实验结果

研究问题

• RQ1 如何在通过低维分布组合构建的概率模型中计算边缘分布？
• RQ2 生成序列需满足何种条件，才能实现高效且局部的边缘化？
• RQ3 能否推导出一种通用方法，将任意生成序列转换为生成指定变量子集边缘分布的序列？
• RQ4 ‘完美’序列在确保组合模型的结构一致性和计算效率方面起什么作用？
• RQ5 边缘计算的局部化程度如何？这又如何依赖于生成序列的结构？

主要发现

• 建立了一个通用定理，提供了一种从任意原始生成序列系统推导任意变量子集边缘分布生成序列的方法。
• 该方法通过求和消去目标集合外的变量，确保边缘化过程是局部的，从而保持计算效率。
• 该方法适用于有限域模型，保证所有所需求和均定义良好且可计算。
• 本文证明，完美序列是边缘化行为特别良好且结构清晰的特殊情况。
• 结果表明，组合模型中的边缘化并不仅限于特定类型的序列，而是可系统地处理任意生成序列。
• 该框架使得模型的程序化构建成为可能，其中边缘化是模型生成过程中可计算且不可或缺的一部分。