[論文レビュー] Algebraic statistical models

Mathias Drton, Seth Sullivant|arXiv (Cornell University)|Mar 20, 2007

Polynomial and algebraic computation参考文献 24被引用数 15

ひとこと要約

本稿では、代数的指数型分布族を、半代数的パラメータ空間を持つ正則指数型分布族の部分モデルとして定義することにより、代数的統計モデルの統一的枠組みを提示する。計算代数幾何学を用いて、この構造が特異モデル（例：因子分析）における最尤推定の厳密な解析を可能にすることを示しており、特に、全尤度最大値を特定し、Heywoodケースを代数的計算によって確認できることを明らかにしている。

ABSTRACT

Many statistical models are algebraic in that they are defined in terms of polynomial constraints, or in terms of polynomial or rational parametrizations. The parameter spaces of such models are typically semi-algebraic subsets of the parameter space of a reference model with nice properties, such as for example a regular exponential family. This observation leads to the definition of an `algebraic exponential family'. This new definition provides a unified framework for the study of statistical models with algebraic structure. In this paper we review the ingredients to this definition and illustrate in examples how computational algebraic geometry can be used to solve problems arising in statistical inference in algebraic models.

研究の動機と目的

• 離散的・連続的両方の代数的統計モデルを統合する一貫した定義を提示すること。
• 半代数的パラメータ空間を持つ正則指数型分布族の部分モデルとして代数的指数型分布族を定義すること。
• 計算代数幾何学的手法が特異性や隠れ変数を有するモデルにおける推論問題をどのように解けるかを示すこと。
• 代数的指数型分布族が周辺化や潜在変数を含むモデルを十分に柔軟に扱える一方で、幾何的正則性を保つことができるかを示すこと。

提案手法

• 代数的統計モデルを、基準モデルのパラメータ空間と半代数的集合の共通部分として定義する。
• 自然パラメータ空間からR^kの開集合への微分同相写像を用いて代数的指数型分布族を導入し、部分モデルを半代数的集合との共通部分として定義する。
• 多項式および有理関数パラメータ化を用いて、条件付き独立性や因子分析モデルなどのモデルを表現する。
• 計算代数幾何学のアルゴリズム（例：グレブナー基底、結果式）を用いて尤度方程式を解き、臨界点を分析する。
• パラメータ空間の閉包を扱い、特に尤度関数が境界で全最大値に達する場合に境界最大値を検出する。
• 平均パラメータ化を用い、モデルを再パラメータ化することで、特異性および尤度挙動の代数的解析を容易にする。

実験結果

リサーチクエスチョン

• RQ1 多項式的または有理的構造を有する離散的・連続的統計モデルを包括する統一的定義を、どのように提示できるか？
• RQ2 正則指数型分布族内に半代数的集合を用いて部分モデルを定義する場合、統計的意味は何か？
• RQ3 代数幾何学的手法を用いて、因子分析のような特異モデルにおける最尤推定をどのように分析できるか？
• RQ4 代数的指数型分布族は、曲がった指数型分布族や階層的指数型分布族に比べ、潜在変数モデルをどのようにより効果的に扱えるか？
• RQ5 代数的手法を用いて、パラメータ空間の境界上に位置する全尤度最大値（例：Heywoodケース）を検出・特徴づけられるか？

主な発見

• 与えられた標本分散共分散行列S2に対して、因子分析モデルにおける尤度関数の全最大値は、パラメータ空間の境界点で達成され、具体的にはω₁ = 0のときであると確認された。
• パラメータ空間の閉包上での尤度関数の全最大化により、一意な正定値共分散行列が得られ、これは具体的に4×4行列として明示的に計算された。
• 尤度方程式の11個の妥当な解のうち、局所最大値に対応するのは2つに過ぎず、これらはいずれも境界上の全最大値よりも尤度が低いことが判明した。
• 複素数解から得られる5つの異なる逆共分散行列のうち、唯一の全最大値に対応するのは1つであり、境界解が最適であることが確認された。
• 本稿では、尤度関数の全最大値が、固有の分散パラメータωᵢの1つが0となる場合に発生するHeywoodケースを示しており、これは代数幾何学的手法により検出可能であることを明らかにした。
• この枠組みは、尤度推定における特異的挙動を的確に特定・特徴づけられ、標準的漸近理論が失敗する問題に対しても代数的手法が有効であることを示した。