[论文解读] Composition of Probability Measures on Finite Spaces

Radim Jiroušek|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用 34

一句话总结

本文提出了一种在有限空间上使用复合算子组合概率测度的正式框架，重点研究了低维测度序列的组合。它将‘完美序列’——即允许灵活重排复合算子的序列——识别为可分解模型和贝叶斯网络中高效计算的核心，通过统一的代数结构将多种图模型的处理方法整合在一起。

ABSTRACT

Decomposable models and Bayesian networks can be defined as sequences of oligo-dimensional probability measures connected with operators of composition. The preliminary results suggest that the probabilistic models allowing for effective computational procedures are represented by sequences possessing a special property; we shall call them perfect sequences. The paper lays down the elementary foundation necessary for further study of iterative application of operators of composition. We believe to develop a technique describing several graph models in a unifying way. We are convinced that practically all theoretical results and procedures connected with decomposable models and Bayesian networks can be translated into the terminology introduced in this paper. For example, complexity of computational procedures in these models is closely dependent on possibility to change the ordering of oligo-dimensional measures defining the model. Therefore, in this paper, lot of attention is paid to possibility to change ordering of the operators of composition.

研究动机与目标

• 建立一个使用迭代复合算子在有限空间上组合概率测度的基础性框架。
• 识别在不改变结果测度的前提下，复合算子顺序可更改的条件，以实现计算效率。
• 通过基于序列性质的统一代数结构，统一处理可分解模型与贝叶斯网络。
• 通过算子重排探讨概率图模型中计算复杂性的理论基础。
• 为将现有贝叶斯网络与可分解模型的研究成果转化为新的统一形式化体系奠定基础。

提出的方法

• 将概率测度的复合定义为通过复合算子连接的低维测度序列。
• 引入‘完美序列’的概念——即在重排算子后仍保持结果测度不变的算子序列。
• 分析复合算子的代数性质，以确定何时重排是允许且计算上有利的。
• 利用有限空间的结构形式化复合过程，并推导出在重排下保持封闭的性质。
• 将该框架应用于将可分解图模型与贝叶斯网络建模为复合测度的序列。
• 证明这些模型中的计算复杂性与复合算子重排的可能性直接相关。

实验结果

研究问题

• RQ1 在不改变结果测度的前提下，什么条件允许在概率测度序列中重排复合算子？
• RQ2 在有限概率空间的背景下，‘完美序列’应如何形式化定义并加以表征？
• RQ3 概率测度的复合在何种方式下能统一处理可分解模型与贝叶斯网络？
• RQ4 复合算子的哪些代数性质决定了概率推理的计算效率？
• RQ5 现有贝叶斯网络与可分解模型中的研究成果如何能在这一新的组合框架中重新表述？

主要发现

• 完美序列——即在不改变结果测度的前提下可重排复合算子的序列——被识别为高效计算的关键。
• 复合算子重排的能力与概率模型中推理的计算复杂性直接相关。
• 该框架为可分解模型与贝叶斯网络提供了统一的代数语言，使现有理论成果的转换成为可能。
• 本文确立了有限概率空间的结构允许通过算子实现明确定义且可处理的测度复合。
• 结果表明，可分解模型与贝叶斯网络中的所有理论与算法程序均可在此组合框架中重新表述。
• 该研究证实，这些模型中的核心计算优势源于可重排的、完美序列的复合算子的存在。