[論文レビュー] Maximum Likelihood for Matrices with Rank Constraints

Jonathan D. Hauenstein, Jose Israel Rodriguez+1 more|arXiv (Cornell University)|Sep 30, 2012

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

この論文は、ランク制約付き行列の行列式多様体上での尤度関数のすべての臨界点を計算するための数値代数幾何学的手法を開発し、信頼性の高いグローバル尤度最大推定を可能にする。主な貢献は、ランク制約付き行列の尤度最大次数の正確な計算であり、補完的ランクの間の双対性を明らかにし、代数統計における長年の未解決事例を解消する。

ABSTRACT

Maximum likelihood estimation is a fundamental optimization problem in statistics. We study this problem on manifolds of matrices with bounded rank. These represent mixtures of distributions of two independent discrete random variables. We determine the maximum likelihood degree for a range of determinantal varieties, and we apply numerical algebraic geometry to compute all critical points of their likelihood functions. This led to the discovery of maximum likelihood duality between matrices of complementary ranks, a result proved subsequently by Draisma and Rodriguez.

研究の動機と目的

• 統計的混合モデルとして独立な離散確率変数の組み合わせを表す、ランクが制限された行列の行列式多様体上での尤度関数のすべての臨界点を計算すること。
• 低ランク行列モデルにおける最尤推定（MLE）において複数の局所最適解が存在するという課題に対処すること。グローバル最適性の確認は困難である。
• m×n行列におけるランク ≤ r の行列式多様体の最大尤度次数（ML degree）を特定すること。特に、記号的計算の限界を超えたケースを対象とする。
• ランク r と m−r+1 の尤度最大次数の間の双対性を確立・検証すること。
• 低ランク行列モデルにおける尤度関数のすべての局所最適解を信頼性高く特定する計算フレームワークを提供し、グローバル最適化を可能にすること。

提案手法

• ランク r 行列の因子分解 P = AB^T を用いた新しいパrametrization を用いて、ランク制約付き行列における MLE 問題を多項式方程式の正方系として定式化する。
• ホモトピー続行法や数値的既約分解などの数値代数幾何学的手法を適用し、行列式多様体上での尤度関数のすべての複素臨界点を計算する。
• ランク制約下での対数尤度関数のラグランジュ関数から導かれる尤度方程式を用い、A と B の成分に関する多項式方程式系を得る。
• EM アルゴリズムを数値的ベンチマークとして用い、結果の妥当性を検証する。収束先を計算された臨界点と比較し、境界解を同定する。
• 尤度方程式における対称性と双対性を活用し、計算複雑度を低減し、補完的ランク双対性に関する予想の検証を図る。
• 既知のケースと照合して結果を検証し、高精度の数値解法を用いて、さまざまな (m,n,r) 組合せにおける臨界点の正確な個数を確認する。

実験結果

リサーチクエスチョン

• RQ1 m×n 行列のランク ≤ r の多様体上での尤度関数の臨界点の正確な個数（すなわち ML 度）は何か？
• RQ2 m≤n の場合に、ランク r とランク m−r+1 の行列における ML 度の間に双対性が存在するか？
• RQ3 記号的計算の限界を超えた高次元・低ランク行列モデルにおいて、数値代数幾何学的手法が尤度関数のすべての臨界点を信頼性高く計算できるか？
• RQ4 EM アルゴリズムと数値継続法は、ランク制約付き MLE 問題における局所最適解の同定において、どのように比較されるか？
• RQ5 尤度関数の臨界点は、パrameter空間の内部にどの程度位置し、いつ境界上に位置するのか？

主な発見

• 4×4 行列のランク ≤2 の ML 度は 191 であり、記号的計算では到達できなかった長年の未解決問題を解消した。
• 5×5 行列のランク ≤3 の ML 度は 61326 であり、ランク ≤2 では 3119 である。これは、このサイズクラスにおける最初の非自明な値を確認した。
• 4×6 行列のランク ≤3 の ML 度は 3119 であり、5×5 行列のランク ≤4 では 6776 である。これは、補完的ランクの間の対称性を示している。
• 本研究は、ランク r と m−r+1 の ML 度の双対性を、明示的な数値計算により確認した。この予想は後に Draisma と Rodriguez によって証明された。
• 4×5 行列のランク ≤3 に対して、10,000 回の EM アルゴリズム実行により 10 個の局所最適解が得られたが、そのうち 8 個が数値代数幾何学による計算で得られた 8 個の臨界点と一致した。
• EM アルゴリズムで得られた残りの 2 個の局所最適解はパrameter空間の境界上にあり、尤度方程式を満たさないため、内部の臨界点ではないことが判明した。