[論文レビュー] A note on the border of an exponential family

Luigi Malagò, Giovanni Pistone|arXiv (Cornell University)|Dec 3, 2010

Polynomial and algebraic computation参考文献 14被引用数 7

ひとこと要約

この論文は、有限状態空間上の指数型分布族の境界を代数幾何と凸幾何を用いて特徴づける。極限分布が周辺多面体の面に対する条件付き密度にちょうど一致することを証明し、格子状態の場合にはモデルの閉包に対する単項式パラメータ化を提供することで、特異的サポートを含む拡張モデルの完全な代数的記述を可能にする。

ABSTRACT

Limits of densities belonging to an exponential family appear in many applications, {e.g.} Gibbs models in Statistical Physics, relaxed combinatorial optimization, coding theory, critical likelihood computations, Bayes priors with singular support, random generation of factorial designs. We discuss the problem from the methodological point of view in the case of a finite state space. We prove two characterizations of the limit distributions, both based on a suitable description of the marginal polytope (convex hull of canonical statistics' values). First, the set of limit densities is equal to the set of conditional densities given a face of the marginal polytope. Second, in the lattice case there exists a parametric presentation, in monomial form, of the closure of the statistical model.

研究の動機と目的

• 自然パラメータ空間の境界に近づく際に指数型分布族における極限分布の構造を理解すること。
• 代数的・幾何的道具を用いて、サポートが欠損（縮小）している分布を含む指数型分布族の閉包を特徴づけること。
• 標準統計量が整数値をとる格子状態の場合に、統計モデルの閉包に対する単項式パラメータ化を提供すること。
• 指数型分布族の境界と周辺多面体の面に対する条件付き指数型分布族との間の関係を確立すること。

提案手法

• 境界挙動を分析するための中心的幾何的対象として、標準十分統計量の値の凸包である周辺多面体を用いる。
• 極限密度の集合が周辺多面体の面に対する条件付き密度の集合に等しいことを証明する。
• パラメータ変換 $ t_j = e^{\theta_j} $ を用いて単項式パラメータ化を適用し、$ t_j \geq 0 $ を許容することで、標本空間の部分集合上のサポートを持つ密度関数を含むモデルの拡張が可能になる。
• L^2 内の直交補空間を用いた暗黙の代数的表現により、モデルの閉包を定義する多項式方程式 $ \prod p(x)^{w(x)} = 1 $ を導出する。
• グレブナー基底とトーリックイデアルを用いて、特にマルコフ連鎖および二値計画法の例において、交絡や同一性の構造を分析する。
• 理論を具体的なモデル（マルコフ連鎖や因子設計）に適用し、閉包が識別可能な部分モデルを捉えていることを示す。

実験結果

リサーチクエスチョン

• RQ1 自然パラメータの一部が無限大またはゼロに近づく際、指数型分布族における極限分布の集合はどのように特徴づけられるか？
• RQ2 サポートが欠損する場合を含め、指数型分布族の閉包を代数的にどのように記述できるか？
• RQ3 指数型分布族の境界と周辺多面体の面との幾何的関係は何か？
• RQ4 格子状態の指数型分布族の閉包は単項式形式で表現可能か？ そしてこれはモデル拡張にどのような意味を持つのか？

主な発見

• 指数型分布族における極限密度の集合は、周辺多面体の面に対する条件付き密度の集合にちょうど一致する。
• 格子状態の場合、指数型分布族の閉包は単項式パラメータ化を許容し、拡張モデルの完全な代数的記述が可能になる。
• モデルの境界は、各々が周辺多面体の面に対応するサポートが縮小した部分モデルに対応する。
• 暗黙の代数的表現 $ \prod p(x)^{w(x)} = 1 $ は正の密度関数を超えて拡張され、モデルの閉包を定義する。
• マルコフ連鎖の例では、交絡構造が遷移確率の和しか識別できないことを示し、6次元空間内の4次元部分モデルが得られる。
• モデル行列の直交補空間は、ベクトル $ (n,n,1,1,1,1) $ によって生成され、これがマルコフ連鎖モデルにおける交絡関係を決定する。