[論文レビュー] Mixture Decomposition of Distributions using a Decomposition of the Sample Space

Guido Montúfar|arXiv (Cornell University)|Aug 1, 2010

Bayesian Methods and Mixture Models参考文献 9被引用数 1

ひとこと要約

この論文は、N個の二値確率変数の分布の混合分解を、標本空間を分割することで分析する。指数型分布族に属する成分分布から成る混合モデルにおいて、任意の分布を表現するために、m ≥ 2^N−1 個の混合成分が必要かつ十分であることを証明し、モデル容量のタイトな境界を確立する。

ABSTRACT

We consider the set of join probability distributions of N binary random variables which can be written as a sum of m distributions in the following form p(x1,..., xN) =∑m i=1 αifi(x1,..., xN), where αi ≥ 0, ∑m i=1 αi = 1, and the fi(x1,..., xN) belong to some exponential family. For our analysis we decompose the sample space into portions on which the mixture components fi can be chosen arbitrarily. We derive lower bounds on the number of mixture components from a given exponential family necessary to represent distributions with arbitrary correlations up to a certain order or to represent any distribution. For instance, in the case where fi are independent distributions we show that every distribution p on {0, 1}N is contained in the mixture model whenever m ≥ 2N−1, and furthermore, that there are distributions which are not contained in the mixture model whenever m < 2N−1.

研究の動機と目的

• N個の二値確率変数の任意の結合分布を表現するために必要な最小の混合成分数を特定すること。
• 指数型分布族から構築された混合モデルの表現能力を分析すること。
• 与えられた順序までの任意の相関構造を捉えるために必要な成分数のタイトな下界を導出すること。
• 与えられたサイズの混合モデルに分布が含まれるための条件を同定すること。

提案手法

• 標本空間 {0, 1}^N が互いに素な領域に分割され、各混合成分 fi がそれぞれの領域で独立に選べる。
• 混合モデルは p(x) = ∑_{i=1}^m α_i f_i(x) で定義され、α_i ≥ 0 かつ ∑ α_i = 1 を満たす。
• 分析は、fi が独立分布である場合に限定され、これは指数型分布族の特殊ケースである。
• 任意の順序までの相関を持つ分布の空間の次元を調べることで、m に対する下界を導出する。
• 組合せ論的および線形代数的議論を用いて、2^N−1 個の成分が、完全な表現能力を達成するために必要かつ十分であることを証明する。
• 鍵となる洞察は、標本空間の分割により、各領域における成分の挙動を独立に制御できることであり、これがタイトな境界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 N個の二値変数上の任意の結合分布を表現するための最小の成分数 m は何か？
• RQ2 混合成分が指数型分布族に属する独立分布である場合、{0, 1}^N 上のすべての分布を表現できるか？
• RQ3 混合成分数は、捉えられる相関の順序とどのように関係するか？
• RQ4 このような混合モデルの完全な表現能力を保証するための m に対するタイトな境界は存在するか？
• RQ5 標本空間のどのような構造的性質が、任意の分布の表現を可能または制限するか？

主な発見

• {0, 1}^N 上の任意の分布は、m = 2^N−1 個の指数型分布族に属する独立分布の混合として表現可能である。
• {0, 1}^N 上には、2^N−1 個未満の混合成分では表現できない分布が存在する。
• 混合成分が独立である場合、m ≥ 2^N−1 は必要かつ十分である。
• この結果は、特に混合成分が独立である場合に成立し、完全な表現能力を達成するための独立性の役割を強調する。
• m 個の領域への標本空間の分割により、全確率単体の基底が構成可能であり、これが境界のタイトさを説明する。
• 分析により、普遍的な表現を達成するには、混合成分数が N に対して指数関数的に増加する必要があることが示される。