[論文レビュー] The maximum likelihood degree of mixtures of independence models

Jose Israel Rodriguez, Botong Wang|arXiv (Cornell University)|May 25, 2015

Bayesian Modeling and Causal Inference参考文献 21被引用数 5

ひとこと要約

本稿は、Hauenstein, Rodriguez, Sturmfels が提起した、ランクが2以下の $m \times n$ 聯合確率行列に対する独立モデル混合の最大尤度次数（ML degree）に関する未解決の予想を解消する。トポロジー的手法、特にオイラー特性と分離多様体に基づき、$3 \times n$ モデルのML degreeの閉形式の公式と、一般の $m \times n$ ケースにおける再帰的アルゴリズムを導出。明示的な計算により、$(20,20)$ モデルのML degreeが $1.96 \times 10^{40}$ を大きく上回ることが示された。

ABSTRACT

The maximum likelihood degree (ML degree) measures the algebraic complexity of a fundamental optimization problem in statistics: maximum likelihood estimation. In this problem, one maximizes the likelihood function over a statistical model. The ML degree of a model is an upper bound to the number of local extrema of the likelihood function and can be expressed as a weighted sum of Euler characteristics. The independence model (i.e. rank one matrices over the probability simplex) is well known to have an ML degree of one, meaning their is a unique local maxima of the likelihood function. However, for mixtures of independence models (i.e. rank two matrices over the probability simplex), it was an open question as to how the ML degree behaved. In this paper, we use Euler characteristics to prove an outstanding conjecture by Hauenstein, the first author, and Sturmfels; we give recursions and closed form expressions for the ML degree of mixtures of independence models.

研究の動機と目的

• 文献[13]の予想4.1、特にランクが2以下の $m \times n$ 聯合確率行列に対する独立モデル混合の最大尤度次数（ML degree）に関する解決を図ること。
• 特異代数的統計モデルのML degreeを計算するためのトポロジー的枠組み（オイラー特性を用いる）を構築すること。
• 特に $3 \times n$ および一般の $m \times n$ ケースにおいて、$m \times n$ 独立モデル混合のML degreeに対する閉形式および再帰的表現を提供すること。
• 滑らかでないモデルから特異的・ランク制約付き多様体への最大尤度推定の代数的複雑性の理解を拡張すること。
• トポロジー的・幾何的変形を用いて、ML degreeの交代和公式を正の和の式に変換可能かどうかを検討すること。

提案手法

• 著者らは、混合モデルのザリスキ閉包を用いて、ランクが2以下の行列の複素代数的多様体を定義する。
• ランクとパrameterizationの構造に基づき、多様体を部分多様体（strata）に分解し、それらのトポロジーを分析する。
• 一般に位置する超平面の補集合に関する既知の結果とファイバー束構造を用いて、開部分多様体のオイラー特性を計算する。
• 特に $W_2^{(k)}$ の部分多様体に注目し、ML degreeを部分多様体のオイラー特性の重み付き和と関連づけることで再帰的公式を導出する。
• 最大尤度双対性と変形技法を活用し、異なるコランクを持つモデルを関連づけ、正の和の式への道筋を示唆する。
• 計算代数ツールとトポロジー的議論を統合し、$20 \times 20$ などの大規模モデルのML degreeを計算する。

実験結果

リサーチクエスチョン

• RQ1 ランクが2以下の $m \times n$ 聯合確率行列に対する2つの独立モデル混合の最大尤度次数（ML degree）は何か？
• RQ2 $3 \times n$ 独立モデル混合のML degreeに対して、閉形式の式を導出可能か？
• RQ3 トポロジカル不変量を用いて、一般の $m \times n$ 混合モデルのML degreeを再帰的に計算可能か？
• RQ4 ランク制約付きモデルに対して、オイラー特性を用いた最大尤度双対性のトポロジカル証明は可能か？
• RQ5 幾何的またはトポロジカル的変形を用いて、ML degreeの交代和公式を正の和の式に変換可能か？

主な発見

• $3 \times n$ 独立モデル混合のML degreeは、$n \geq 3$ に対して閉形式の公式 $\text{MLdegree}(\mathcal{M}_{3n}) = 2^{n+1} - 6$ で与えられ、長年の予想が裏付けられた。
• $(20,20)$ ケースでは、再帰的アルゴリズムを用いてML degreeが $19,674,198,689,452,133,729,973,092,792,823,813,947,695$ に計算され、およそ $1.967 \times 10^{40}$ に達する。
• $m \times n$ 混合モデルのML degreeを再帰的に計算する公式が確立され、任意の $m$ および $n$ に対して計算可能となった。
• 部分多様体 $W_2^{(m-1)}$ のオイラー特性が $(m-1) \cdot m!$ に等しいことが示され、ML degreeの計算に直接寄与する。
• $m \times n$ モデルのML degreeは、部分多様体のオイラー特性の重み付き和として表現され、その重みは組合せ的構造から導出される。
• トポロジカル不変量（特にオイラー特性）が、特異的統計モデルの代数的複雑性を効果的に捉えることができることを示した。