[論文レビュー] The Algebraic Complexity of Maximum Likelihood Estimation for Bivariate Missing Data

Serkan Hoşten, Seth Sullivant|ArXiv.org|Sep 6, 2007

Random Matrices and Applications参考文献 2被引用数 11

ひとこと要約

本稿は、計算代数幾何学を用いて、マーカー欠損（MAR）仮定の下で二変量欠損データに対する最尤推定（MLE）の代数的複雑性を調査する。二変量正規分布データの場合、スコア方程式は9つの複素解を持つが、正しいMAR仮定のもとでは1つの実解が存在し、統計的に有意である。多項分布データの場合、すべての解が実解であり、状態数の増加に従い解の数は指数関数的に増加するが、そのうち1つだけが統計的に意味を持つ。

ABSTRACT

We study the problem of maximum likelihood estimation for general patterns of bivariate missing data for normal and multinomial random variables, under the assumption that the data is missing at random (MAR). For normal data, the score equations have nine complex solutions, at least one of which is real and statistically significant. Our computations suggest that the number of real solutions is related to whether or not the MAR assumption is satisfied. In the multinomial case, all solutions to the score equations are real and the number of real solutions grows exponentially in the number of states of the underlying random variables, though there is always precisely one statistically significant local maxima.

研究の動機と目的

• MAR仮定の下で二変量欠損データモデルにおける最尤推定（MLE）の代数的構造を分析すること。
• 欠損付き正規分布および多項分布の両者について、スコア方程式の複素解および実解の数を特定すること。
• モデルの誤特定または誤った欠損データ機構が、尤度関数の局所最大値の数に与える影響を調査すること。
• 多項分布二変量欠損データ設定における最大尤度次数（ML次数）の組合せ的公式を確立すること。
• 代数幾何学的手法を用いて、尤度方程式の幾何構造と0/1行列およびlonesum行列の構造を結びつけること。

提案手法

• 計算代数幾何学を用いて、二変量欠損データの尤度関数の臨界方程式（スコア方程式）を分析する。
• 最大尤度次数（ML次数）を、スコア方程式の複素解の数として定義する。これは一般のデータに対して一定である。
• 正規モデルに対しては、精度行列（逆分散共分散行列）を用いて対数尤度およびスコア方程式を簡略化する。
• 多項分布の場合、欠損付きの分割表として問題をモデル化し、表のサポートに関する組合せ的制約を用いる。
• lonesum行列（行和・列和から一意に決定される0/1行列）の結果を応用し、欠損データパターンの有効な構成を数える。
• 多項分布ケースのML次数の公式を導出するために、妥当なパrameter解の集合に対して包含除算法および有界性の議論を適用する。

実験結果

リサーチクエスチョン

• RQ1 MAR仮定のもとで二変量正規分布欠損データモデルのスコア方程式に存在する複素解の数はいかほどか？
• RQ2 二変量正規モデルのスコア方程式の実解の数は、MAR仮定の妥当性とどのように関係するか？
• RQ3 欠損付き二変量多項分布モデルの最大尤度次数（ML次数）は何か？
• RQ4 多項分布モデルの状態数の増加に伴い、スコア方程式の実解の数はどのように増加するか？
• RQ5 多項分布二変量欠損データモデルにおけるML次数の背後にある組合せ的構造は何か？

主な発見

• MAR仮定のもとで二変量正規分布データに対しては、スコア方程式が正確に9つの複素解を持つ。そのうち少なくとも1つは実解であり、統計的に有意である。
• MAR仮定が成立し、モデルが正しく指定されている場合、シミュレーションにより一意の実解が局所最大値として存在することが示された。
• モデルの誤特定または誤った欠損データ機構が成立する場合、尤度関数に複数の統計的に関連のある局所最大値が存在しうり、EM法によるMLE推定が複雑化する。
• 多項分布二変量欠損データにおいては、スコア方程式のすべての解が実解であり、解の数は状態数の増加に従い指数関数的に増加する。
• 多項分布ケースのML次数は、負のインデックスを持つ多項ベルヌーイ数を含む組合せ的公式で与えられ、lonesum行列の列挙から導出される。
• 多項分布ケースのML次数は、特定の2×2部分行列（禁止される置換パターンに対応する）を含まない0/1行列の数に等しく、lonesum行列に対する包含除算法によって数え上げられる。