[论文解读] Counting and Locating the Solutions of Polynomial Systems of Maximum Likelihood Equations, II: The Behrens-Fisher Problem

Max-Louis G. Buot, Serkan Hoşten+1 more|ArXiv.org|Sep 6, 2007

Polynomial and algebraic computation参考文献 19被引用 8

一句话总结

本文将代数几何应用于多变量Behrens-Fisher问题，证明当样本量 $N_1, N_2 > p$ 时，似然方程几乎必然有恰好 $2p+1$ 个复数解。此外，还表明实数解通常唯一，多重实数解极为罕见，尤其在样本量增大时更是如此。

ABSTRACT

Let $μ$ be a $p$-dimensional vector, and let $Σ_1$ and $Σ_2$ be $p imes p$ positive definite covariance matrices. On being given random samples of sizes $N_1$ and $N_2$ from independent multivariate normal populations $N_p(μ,Σ_1)$ and $N_p(μ,Σ_2)$, respectively, the Behrens-Fisher problem is to solve the likelihood equations for estimating the unknown parameters $μ$, $Σ_1$, and $Σ_2$. We shall prove that for $N_1, N_2 > p$ there are, almost surely, exactly $2p+1$ complex solutions of the likelihood equations. For the case in which $p = 2$, we utilize Monte Carlo simulation to estimate the relative frequency with which a typical Behrens-Fisher problem has multiple real solutions; we find that multiple real solutions occur infrequently.

研究动机与目标

• 使用代数几何方法，确定多变量Behrens-Fisher问题中似然方程的复数解与实数解的数量。
• 通过蒙特卡洛模拟，研究双变量情形（$p=2$）下多重实数解的出现频率。
• 建立当样本量 $N_1, N_2 \to \infty$ 时实数解的渐近唯一性。
• 将单变量情形下的解的数量与重数结果推广至多变量设置。

提出的方法

• 应用代数几何中的贝祖定理（Bézout’s theorem），计算由似然方程构成的多项式系统的复数解数量。
• 利用最大似然次数（maximum likelihood degree）概念，分析似然方程的解结构。
• 通过消去精度矩阵（inverse covariance matrices），将似然方程转化为关于 $\mu$、$\Sigma_1$ 和 $\Sigma_2$ 的多项式方程组。
• 运用局部环理论与首项理想（initial ideals）方法，计算在原假设下 $\widehat{\mu} = 0$ 处解的重数。
• 通过从 $N_2(\mu, \Sigma_1)$ 和 $N_2(\mu, \Sigma_2)$ 中生成随机样本，进行蒙特卡洛模拟，以估计多重实数解的出现频率。
• 借助大数定律与解的连续性，证明当 $N_1, N_2 \to \infty$ 时，唯一实数解以概率一出现。

实验结果

研究问题

• RQ1 当 $N_1, N_2 > p$ 时，多变量Behrens-Fisher问题的似然方程存在多少个复数解？
• RQ2 在双变量情形（$p=2$）下，实数解的典型数量是多少？多重实数解出现的频率如何？
• RQ3 随着样本量增加，实数解的数量是否会收敛于一？
• RQ4 在原假设下，$\widehat{\mu} = 0$ 处的解的重数是多少？该重数如何影响解的唯一性？
• RQ5 似然方程的解结构如何与最大似然次数以及代数几何工具（如贝祖定理）相关联？

主要发现

• 当 $N_1, N_2 > p$ 时，似然方程组几乎必然有恰好 $2p+1$ 个复数解。
• 在双变量情形（$p=2$）下，蒙特卡洛模拟显示，在超过1000次模拟中，五个性质的实数解（即最大可能数量）从未出现，无论样本大小如何。
• 多重实数解极为罕见；在所有模拟中，实数解的数量仅为一或三个，其中一解为最常见情况。
• 当 $N_1, N_2 \to \infty$ 时，似然方程以概率一具有唯一实数解。
• 在原假设下，$\widehat{\mu} = 0$ 处的解重数为一，确认其非退化性，支持了解的唯一性。
• 似然方程在原则上具有多重模态性，但在大样本中，全局最大值几乎必然唯一，意味着数值算法几乎必然收敛至全局解。