[论文解读] Maximum Likelihood for Matrices with Rank Constraints

Jonathan D. Hauenstein, Jose Israel Rodriguez+1 more|arXiv (Cornell University)|Sep 30, 2012

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文开发了数值代数几何方法，用于计算有界秩矩阵的行列式簇上似然函数的所有临界点，从而实现可靠的全局最大似然估计。关键贡献在于对秩约束矩阵的精确计算最大似然次数，揭示了互补秩之间的对偶性，并解决了代数统计中长期存在的开放问题。

ABSTRACT

Maximum likelihood estimation is a fundamental optimization problem in statistics. We study this problem on manifolds of matrices with bounded rank. These represent mixtures of distributions of two independent discrete random variables. We determine the maximum likelihood degree for a range of determinantal varieties, and we apply numerical algebraic geometry to compute all critical points of their likelihood functions. This led to the discovery of maximum likelihood duality between matrices of complementary ranks, a result proved subsequently by Draisma and Rodriguez.

研究动机与目标

• 计算有界秩矩阵的行列式簇上似然函数的所有临界点，这些簇建模了独立离散随机变量的统计混合。
• 解决低秩矩阵模型中最大似然估计（MLE）的多个局部最大值问题，其中全局最优性难以验证。
• 确定 m×n 矩阵中秩 ≤ r 的行列式簇的最大似然次数（ML degree），特别是针对符号计算极限之外的情况。
• 建立并验证秩为 r 和 m−r+1 的矩阵之间 ML 次数的对偶性，例如 r 和 m−r+1。
• 提供一个计算框架，可靠地识别低秩矩阵模型中似然函数的所有局部最大值，从而实现全局优化。

提出的方法

• 通过利用秩 r 矩阵的分解 P = AB^T，提出一种新颖的参数化方法，将秩约束矩阵上的 MLE 问题表述为多项式方程的平方系统。
• 应用数值代数几何技术，包括同伦延拓和数值不可约分解，计算行列式簇上似然函数的所有复临界点。
• 利用在秩约束下从对数似然函数的拉格朗日函数导出的似然方程，得到关于 A 和 B 的元素的多项式方程组。
• 将 EM 算法用作数值基准，验证结果，比较其收敛性与计算出的临界点，并识别边界解。
• 利用似然方程中的对称性和对偶性，降低计算复杂度，并验证关于互补秩对偶性的猜想。
• 与已知情况对比验证结果，并使用高精度数值求解器确认各种 (m,n,r) 配置下临界点的精确数量。

实验结果

研究问题

• RQ1 在 m×n 矩阵秩 ≤ r 的代数簇上，似然函数的临界点数量（即 ML 次数）的确切数值是多少？
• RQ2 对于 m≤n 的情况，秩为 r 和秩为 m−r+1 的矩阵之间是否存在 ML 次数的对偶性？
• RQ3 数值代数几何方法能否在符号计算失效的高维低秩矩阵模型中，可靠地计算出似然函数的所有临界点？
• RQ4 EM 算法与数值延拓方法在识别秩约束 MLE 问题中的局部最大值方面有何比较？
• RQ5 似然函数的临界点在参数空间内部的占比如何？它们在何时会出现在边界上？

主要发现

• 4×4 矩阵秩 ≤2 的 ML 次数为 191，解决了长期存在的开放问题，此前符号计算无法处理。
• 5×5 矩阵秩 ≤3 的 ML 次数为 61326，秩 ≤2 的为 3119，确认了该尺寸类别中的首个非平凡值。
• 4×6 矩阵秩 ≤3 的 ML 次数为 3119，5×5 矩阵秩 ≤4 的为 6776，展示了互补秩之间的对称性。
• 本文通过显式计算值确认了 r 和 m−r+1 秩之间 ML 次数的对偶性，该猜想后由 Draisma 和 Rodriguez 证明。
• 对于 4×5 矩阵秩 ≤3，EM 算法运行 10,000 次识别出 10 个局部最大值，其中 8 个被数值代数几何计算确认为 8 个临界点。
• EM 算法额外发现的两个局部最大值位于参数空间边界，不满足似然方程，表明它们并非内部的临界点。