[論文レビュー] Mixture decompositions of exponential families using a decomposition of their sample spaces

Guido Montúfar|arXiv (Cornell University)|Aug 1, 2010

Limits and Structures in Graph Theory参考文献 26被引用数 15

ひとこと要約

本稿は、凸多面体の組合せ幾何学と符号理論を用いて、任意の分布を代表するのに必要な混合モデルの最小成分数を決定する新規手法を提案する。$N$ 個の $q$-値変数の分布は、$q^{N-1}$ 個の独立した $q$-値変数の混合として表現可能であり、任意の2値分布は、$k$-相互作用族からの $2^{N-(k+1)}(1 + 1/(2^k - 1))$ 個の要素の混合として表現可能である。これは、混合モデルの表現力に関する長年の未解決問題を解決する。

ABSTRACT

We study the problem of finding the smallest $m$ such that every element of an exponential family can be written as a mixture of $m$ elements of another exponential family. We propose an approach based on coverings and packings of the face lattice of the corresponding convex support polytopes and results from coding theory. We show that $m=q^{N-1}$ is the smallest number for which any distribution of $N$ $q$-ary variables can be written as mixture of $m$ independent $q$-ary variables. Furthermore, we show that any distribution of $N$ binary variables is a mixture of $m = 2^{N-(k+1)}(1+ 1/(2^k-1))$ elements of the $k$-interaction exponential family.

研究の動機と目的

• ある指数型族に属するすべての分布が、別の指数型族からの $m$ 個の分布の凸混合として表現可能となるような最小の $m$ を特定すること。
• 特に独立および $k$-相互作用指数型族に対する混合モデルの表現力と次元の問題を解決すること。
• 有限値変数の $N$ 方向表に属するすべての分布を、積分布または $k$-相互作用分布の混合として表現するための最小 $m$ に対するタイトな境界を確立すること。
• 混合モデルの複雑さと、マージナル多面体の面ラティスや符号理論における被覆符号といった組合せ構造との関係を確立すること。

提案手法

• マージナル多面体（凸被覆多面体）の面ラティスの被覆とパッキングを用いて、混合成分の要件を分析する。
• 特に被覆符号の境界および球被覆境界に関する符号理論の結果を応用し、最小混合サイズを推定する。
• $S$-集合を、十分統計空間における単体に対応するマージナル多面体内の面集合として特徴付ける。
• 対称性および群作用（例：$x \mapsto x*y$）を活用し、$S$-集合が変換に対して不変であることを示し、構造的解析を可能にする。
• Galeの偶性基準および巡回多面体との組合せ同型を用いて、面数を数え、$S$-集合のサイズを上限付ける。
• 十分統計行列 $\sigma(\Delta, \mathcal{Y})$ のパラメータ数とランク条件を用いて、集合が $S$-集合であるための必要十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の分布が $N$ 個の $q$-値変数の分布として表現可能となるために必要な独立 $q$-値変数分布の最小数 $m$ は何か？
• RQ2 $\{0,1\}^N$ 上の任意の分布が、$k$-相互作用指数型族からの $m$ 個の分布の混合として表現可能となる最小の $m$ は何か？
• RQ3 マージナル多面体の構造とその面ラティスは、指数型族表現の最小混合サイズにどのように制約を加えるか？
• RQ4 被覆半径および最小ヒットセットに関する符号理論的境界を用いて、混合複雑性のタイトな境界を導出可能か？
• RQ5 $S$-集合と確率テンソルの非負の外積ランクとの関係は何か？

主な発見

• 任意の分布が $\{1,\ldots,q\}^N$ 上に存在する場合、それを表現するために必要な独立 $q$-値変数分布の最小数は $m = q^{N-1}$ であり、$q$ が素数べきのときこの境界はタイトである。
• 2値変数の場合、任意の分布は $\{0,1\}^N$ 上で、$k$-相互作用指数型族からの最大 $2^{N-(k+1)}(1 + 1/(2^k - 1))$ 個の分布の混合として表現可能である。
• $q^{N-1}$ の境界は、単純なパラメータ数の見積もりを上回っており、独立変数の混合モデルが従来の予想よりも高い表現力を持つことを示唆している。
• $k$-相互作用モデルから得られる $N$ 方向確率テーブルの最大非負外積ランクは、$2^{N-(k+1)}(1 + 1/(2^k - 1))$ で抑えられ、これは完全な表現に必要な最小 $m$ に一致する。
• $k$-相互作用モデルのマージナル多面体における $S$-集合の数は、十分統計空間内に存在する最大単体のサイズによって抑えられ、そのサイズは $|B_{N,k}|$ 以下である。これは半径 $k$ のハミング球のサイズである。
• $(k+1)$ 次元のシリンダーセットすべてに対するヒット集合の最小サイズは、半径 $k+1$ の二値符号の被覆半径に等しく、この量は $S$-集合のサイズに対する下界を提供する。