[論文レビュー] Algebraic Techniques for Gaussian Models

Mathias Drton|ArXiv.org|Oct 23, 2006

Bayesian Modeling and Causal Inference参考文献 10被引用数 4

ひとこと要約

この論文は、多項式制約と有理パラメータ化を用いて、パラメータ同定可能性とモデル特異点を分析する代数幾何学的手法をガウス型グラフィカルモデルに適用する。特異モデルにおける尤度比検定の漸近的性質が、標準的でない分布、例えば従属なカイ二乗分布の最小値に収束することを示し、古典的なカイ二乗近似の妥当性を疑問視する。

ABSTRACT

Many statistical models are algebraic in that they are defined by polynomial constraints or by parameterizations that are polynomial or rational maps. This opens the door for tools from computational algebraic geometry. These tools can be employed to solve equation systems arising in maximum likelihood estimation and parameter identification, but they also permit to study model singularities at which standard asymptotic approximations to the distribution of estimators and test statistics may no longer be valid. This paper demonstrates such applications of algebraic geometry in selected examples of Gaussian models, thereby complementing the existing literature on models for discrete variables.

研究の動機と目的

• 代数幾何学的手法がガウス型グラフィカルモデルの構造的性質をどのように分析できるかを示すこと。
• 多項式方程式系を用いて、隠れ変数を含むモデルにおけるパラメータ同定可能性を扱うこと。
• モデル特異点が尤度比検定統計量の漸近的分布に与える影響を調査すること。
• 曲がった指数型分布族における非標準的極限分布を理解するための枠組みを提供すること。

提案手法

• パラメータ空間における代数的多様体を定義するために、有理パラメータ化と多項式制約を用いてガウス分布をモデル化すること。
• パラメータ同定に生じる多項式方程式系の解析にグレブナー基底技術を用いること。
• フィッシャー情報行列が特異となる点として特異点を特徴づけ、非正則なモデル幾何を生じることを示すこと。
• ヘッセ行列の展開を用いたデルタ法を適用し、特異点における統計量の極限分布を導出すること。
• 尤度比検定統計量を標本モーメントと部分行列の行列式の形で表現すること。
• 特異部分集合における統計量の収束が、従属なカイ二乗変数の最小値に至ることを分析すること。

実験結果

リサーチクエスチョン

• RQ1 代数幾何学的手法は、ガウス型グラフィカルモデルにおけるパラメータ同定問題をどのように解けるか？
• RQ2 モデル特異点が尤度比検定統計量の漸近的分布に与える影響は何か？
• RQ3 ガウス型モデルにおける尤度比検定の標準的カイ二乗近似が、どのような条件下で失敗するか？
• RQ4 共分散行列への多項式制約は、パラメータ空間の幾何にどのように影響を与えるか？
• RQ5 条件付き独立性モデルにおける特異点における尤度比検定統計量の極限分布は何か？

主な発見

• 隠れ変数を含むモデルにおけるパラメータ同定可能性は、多項式方程式系の解法に帰着され、グレブナー基底を用いて解析可能である。
• モデルの特異部分集合は、フィッシャー情報行列が特異となる点に対応し、共分散行列が対角行列である場合などに生じる。
• 特異部分集合において、尤度比検定統計量は、2つの従属なカイ二乗分布の最小値に分布収束する。
• 特に、共分散行列が対角行列である場合、極限分布は min(W₁₂ + W₁₃, W₁₂ + W₂₃) = W₁₂ + min(W₁₃, W₂₃) に収束する。ここで、Wᵢⱼ は独立な χ²₁ 変数である。
• 非標準的漸近的分布は、モデルの非正則な幾何的性質に起因し、古典的なカイ二乗近似が無効になる。
• デルタ法におけるヘッセ行列展開の適用により、特異点における検定統計量の対数項が、独立な χ²₁ 変数に収束することが確認された。