[논문 리뷰] Counting and Locating the Solutions of Polynomial Systems of Maximum Likelihood Equations, II: The Behrens-Fisher Problem

Max-Louis G. Buot, Serkan Hoşten외 1명|ArXiv.org|2007. 09. 06.

Polynomial and algebraic computation참고 문헌 19인용 수 8

한 줄 요약

이 논문은 다변량 Behrens-Fisher 문제에 대수기하학을 적용하여, 표본 크기 $N_1, N_2 > p$일 때 우도 방정식이 거의 확실히 정확히 $2p+1$개의 복소수 해를 가짐을 증명한다. 또한 실수 해는 일반적으로 유일하며, 다수의 실수 해가 발생하는 경우는 매우 드물며, 특히 표본 크기가 커질수록 더욱 흔하지 않다.

ABSTRACT

Let $μ$ be a $p$-dimensional vector, and let $Σ_1$ and $Σ_2$ be $p imes p$ positive definite covariance matrices. On being given random samples of sizes $N_1$ and $N_2$ from independent multivariate normal populations $N_p(μ,Σ_1)$ and $N_p(μ,Σ_2)$, respectively, the Behrens-Fisher problem is to solve the likelihood equations for estimating the unknown parameters $μ$, $Σ_1$, and $Σ_2$. We shall prove that for $N_1, N_2 > p$ there are, almost surely, exactly $2p+1$ complex solutions of the likelihood equations. For the case in which $p = 2$, we utilize Monte Carlo simulation to estimate the relative frequency with which a typical Behrens-Fisher problem has multiple real solutions; we find that multiple real solutions occur infrequently.

연구 동기 및 목표

• 대수기하학을 활용하여 다변량 Behrens-Fisher 문제의 우도 방정식에 대한 복소수 해와 실수 해의 수를 결정하는 것.
• 몬테카를로 시뮬레이션을 통해 이변량 경우($p=2$)에서 다중 실수 해의 빈도를 조사하는 것.
• 표본 크기 $N_1, N_2 \to \infty$일 때 실수 해의 점근적 유일성을 확립하는 것.
• 단일 변수 결과의 해 수와 중복도를 다변량 설정으로 확장하는 것.

제안 방법

• 대수기하학의 데자르그 정리를 적용하여 우도 방정식으로 구성된 다항식 계수의 복소수 해 수를 세는 것.
• 최대우도도 개념을 사용하여 우도 방정식의 해 구조를 분석하는 것.
• 역 공분산 행렬을 제거하여 $\mu$, $\Sigma_1$, $\Sigma_2$에서 다항식 방정식계로 우도 방정식을 변환하는 것.
• 국소환 이론과 초기 이상을 활용하여 귀무가설 하에서 $\widehat{\mu} = 0$에서의 해의 중복도를 계산하는 것.
• 다양한 표본 크기에서 $N_2(\mu, \Sigma_1)$ 및 $N_2(\mu, \Sigma_2)$에서 무작위 표본을 추출하여 다중 실수 해의 빈도를 추정하기 위해 몬테카를로 시뮬레이션을 수행하는 것.
• 대수법칙과 해의 연속성을 활용하여 $N_1, N_2 \to \infty$일 때 유일한 실수 해가 거의 확실히 나타남을 보이는 것.

실험 결과

연구 질문

• RQ1 표본 크기 $N_1, N_2 > p$일 때 다변량 Behrens-Fisher 문제의 우도 방정식에 복소수 해가 몇 개인가?
• RQ2 이변량 경우($p=2$)에서 실수 해의 일반적인 수는 얼마이며, 다중 실수 해는 얼마나 자주 발생하는가?
• RQ3 표본 크기가 증가함에 따라 실수 해의 수가 1로 수렴하는가?
• RQ4 귀무가설 하에서 $\widehat{\mu} = 0$에서의 해의 중복도는 얼마이며, 이는 해의 유일성에 어떻게 영향을 미치는가?
• RQ5 우도 방정식의 해 구조는 최대우도도와 대수기하학 도구(예: 데자르그 정리)와 어떻게 관련이 있는가?

주요 결과

• 표본 크기 $N_1, N_2 > p$일 때, 우도 방정식계는 거의 확실히 정확히 $2p+1$개의 복소수 해를 가진다.
• 이변량 경우($p=2$)에서 몬테카를로 시뮬레이션을 통해 다섯 개의 실수 해(가능한 최대 수)는 소형 또는 대형 표본을 사용한 1,000회 이상의 시뮬레이션에서 한 번도 발생하지 않았다.
• 다중 실수 해는 매우 드물게 발생함을 확인하였으며, 모든 시뮬레이션에서 실수 해의 수는 1개 또는 3개였고, 그 중 1개가 지배적인 경우였다.
• $N_1, N_2 \to \infty$일 때, 우도 방정식은 거의 확실히 유일한 실수 해를 가진다.
• 귀무가설 하에서 $\widehat{\mu} = 0$에서의 해는 중복도가 1이며, 이는 비퇴화성과 해의 유일성을 확인하는 데 기여한다.
• 우도 방정식은 원칙적으로 다모달성을 띠지만, 대규모 표본에서는 전역 최대값이 거의 확실히 유일하므로 수치적 알고리즘이 전역 최적해로 수렴할 가능성이 매우 높다.