[論文レビュー] Marginalization in Composed Probabilistic Models

Radim Jiroušek|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 12

ひとこと要約

この論文は、低次元分布の合成を通じて多次元確率的モデルを構築する手続き的フレームワークを提示する。特に、任意の生成順序における周辺化に焦点を当てている。変数の消去による局所的計算を保証するため、任意の元の順序から新たな生成順序を導出できる重要な定理を導入し、有限ドメイン上の和集合による周辺分布の計算を可能にする。

ABSTRACT

Composition of low-dimensional distributions, whose foundations were laid in the papaer published in the Proceeding of UAI'97 (Jirousek 1997), appeared to be an alternative apparatus to describe multidimensional probabilistic models. In contrast to Graphical Markov Models, which define multidomensinoal distributions in a declarative way, this approach is rather procedural. Ordering of low-dimensional distributions into a proper sequence fully defines the resepctive computational procedure; therefore, a stury of different type of generating sequences is one fo the central problems in this field. Thus, it appears that an important role is played by special sequences that are called perfect. Their main characterization theorems are presetned in this paper. However, the main result of this paper is a solution to the problem of margnialization for general sequences. The main theorem describes a way to obtain a generating sequence that defines the model corresponding to the marginal of the distribution defined by an arbitrary genearting sequence. From this theorem the reader can see to what extent these comutations are local; i.e., the sequence consists of marginal distributions whose computation must be made by summing up over the values of the variable eliminated (the paper deals with finite model).

研究の動機と目的

• 低次元分布の合成によって構築された確率的モデルにおける周辺化の課題に対処すること。
• 特に完全な順序を含む、合成モデルにおける生成順序の構造と性質を特定すること。
• 任意の生成順序によって定義された合成モデルの周辺分布を計算する一般化された手法を開発すること。
• 生成順序変換を通じて、周辺化を効率的かつ局所的に実行できる条件を確立すること。

提案手法

• 論文は、低次元分布の順序が計算プロセスを定義する手続き的アプローチを導入する。
• 生成順序は、完全な結合分布を構築するために使用される条件付きまたは結合分布の順序付きリストとして定義される。
• 主な手法は、任意の生成順序を、特定の変数部分集合上の周辺分布を生成する新たな順序に変換することである。
• 変換は、ターゲット集合に含まれない変数を和集合（周辺化）することで行われ、元の順序に基づく局所的計算に依存する。
• アプローチは有限ドメインに根ざしており、すべての和集合が計算可能で明確に定義されることを保証する。
• 論文は、このような周辺化生成順序が存在し、任意の元の順序から体系的に導出可能であることを示す主要定理を証明する。

実験結果

リサーチクエスチョン

• RQ1 低次元分布の合成によって構築された確率的モデルにおける周辺分布は、どのように計算できるか？
• RQ2 効率的かつ局所的な周辺化を可能にするために、生成順序が満たすべき条件は何か？
• RQ3 任意の生成順序を、指定された変数部分集合上の周辺分布を生成するものに変換する一般化された手法を導出できるか？
• RQ4 完全な順序は、合成モデルにおける構造的一致性と計算効率を保証するために果たす役割は何か？
• RQ5 周辺分布の計算はどの程度局所的であり、これは生成順序の構造にどのように依存するか？

主な発見

• 任意の元の生成順序から、任意の変数部分集合の周辺分布の生成順序を体系的に導出する一般定理が確立された。
• この手法により、ターゲット集合に含まれない変数を和集合することで、周辺化が局所的に行われ、計算効率が保たれる。
• 有限ドメインモデルに適用可能であり、必要なすべての和集合が明確に定義され、計算可能であることが保証される。
• 論文は、完全な順序が周辺化が特に良好に動作し、構造的に整った特別なケースであることを示している。
• 結果として、合成モデルにおける周辺化が特定の順序タイプに限定されず、任意の生成順序に対しても体系的に処理可能であることが示された。
• このフレームワークにより、周辺化がモデル生成プロセスの不可欠で計算可能な一部となる手続き的モデル構築が可能になる。