[논문 리뷰] The maximum likelihood degree of mixtures of independence models

Jose Israel Rodriguez, Botong Wang|arXiv (Cornell University)|2015. 05. 25.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 5

한 줄 요약

이 논문은 Hauenstein, Rodriguez, 및 Sturmfels가 제기한 개방된 추측을 해결한다. 이는 랭크가 2 이하인 $m \times n$ 결합 확률 행렬에 대한 최대우도도수(ML degree)에 관한 것이다. 올바른 위상수학적 방법, 즉 오일러 지표와 분할 다양체를 기반으로, 저자들은 $3 \times n$ 모델에 대한 닫힌 형식의 공식과 일반적인 $m \times n$ 경우에 대한 재귀 알고리즘을 도출한다. 명시적인 계산을 통해 $(20,20)$ 모델의 ML degree가 $1.96 \times 10^{40}$를 초과한다는 것이 확인된다.

ABSTRACT

The maximum likelihood degree (ML degree) measures the algebraic complexity of a fundamental optimization problem in statistics: maximum likelihood estimation. In this problem, one maximizes the likelihood function over a statistical model. The ML degree of a model is an upper bound to the number of local extrema of the likelihood function and can be expressed as a weighted sum of Euler characteristics. The independence model (i.e. rank one matrices over the probability simplex) is well known to have an ML degree of one, meaning their is a unique local maxima of the likelihood function. However, for mixtures of independence models (i.e. rank two matrices over the probability simplex), it was an open question as to how the ML degree behaved. In this paper, we use Euler characteristics to prove an outstanding conjecture by Hauenstein, the first author, and Sturmfels; we give recursions and closed form expressions for the ML degree of mixtures of independence models.

연구 동기 및 목표

• 문헌 [13]의 추측 4.1을 해결하는 것 — 혼합 독립 모델의 최대우도도수(ML degree)에 관해.
• 최대우도도수를 단순한 대수적 통계 모델이 아닌 특이 대수적 통계 모델에 대해 계산하기 위해 오일러 지표를 활용한 위상수학적 프레임워크를 개발하는 것.
• 특히 $3 \times n$ 및 일반적인 $m \times n$ 경우에 대해 $m \times n$ 혼합 독립 모델의 ML degree에 대해 닫힌 형식과 재귀 표현을 제공하는 것.
• 부드러운 모델을 초월하여 랭크 제약 조건이 있는 다양체로의 최대우도 추정의 대수적 복잡성에 대한 이해를 확장하는 것.
• 위상수학적 및 기하학적 변형을 통해 ML degree의 교대합 공식을 양수합 표현으로 변환할 수 있는지 탐색하는 것.

제안 방법

• 저자들은 랭크가 2 이하인 행렬의 복소대수다양체로 혼합 모델의 자리지 클로처를 정의한다.
• 랭크와 매개변수화의 구조에 따라 다양체를 여러 스트라타로 분해하고, 이러한 스트라타의 위상수학적 성질을 분석한다.
• 일반적인 위치에 있는 초평면의 여부에 대한 알려진 결과와 피브어 번들 구조를 이용해 개방 부분다양체의 오일러 지표를 계산한다.
• 특히 $W_2^{(k)}$ 스트라타에 초점을 맞추어, ML degree를 스트라타의 오일러 지표의 가중합과 연결함으로써 재귀 공식을 유도한다.
• 최대우도 이중성과 변형 기법을 활용하여 서로 다른 코랭크를 가진 모델 간의 관계를 설정함으로써, 양수합 공식으로의 전환 가능성을 제시한다.
• 대수기하학적 도구와 위상수학적 추론을 결합하여 큰 모델, 예를 들어 $20 \times 20$ 모델의 ML degree를 계산한다.

실험 결과

연구 질문

• RQ1 랭크가 2 이하인 $m \times n$ 결합 확률 행렬에 대해 두 개의 독립 모델 혼합의 최대우도도수(MLE degree)는 무엇인가?
• RQ2 혼합 독립 모델의 $3 \times n$ 경우에 대해 ML degree에 대한 닫힌 형식의 표현을 도출할 수 있는가?
• RQ3 위상수학적 불변량을 활용하여 일반적인 $m \times n$ 혼합 모델의 ML degree를 재귀적으로 계산할 수 있는가?
• RQ4 랭크 제약 조건이 있는 모델에 대해 오일러 지표의 관점에서 최대우도 이중성을 위상수학적으로 증명할 수 있는가?
• RQ5 기하학적 또는 위상수학적 변형을 통해 ML degree의 교대합 공식을 양수합 표현으로 변환할 수 있는가?

주요 결과

• $3 \times n$ 혼합 독립 모델의 ML degree는 $n \geq 3$일 때 닫힌 형식의 공식 $\text{MLdegree}(\mathcal{M}_{3n}) = 2^{n+1} - 6$로 주어지며, 오랫동안 제기된 추측을 확인한다.
• $(20,20)$의 경우, 재귀 방법을 사용하여 ML degree가 $19,674,198,689,452,133,729,973,092,792,823,813,947,695$로 계산되었으며, 약 $1.967 \times 10^{40}$이다.
• $m \times n$ 혼합 모델의 ML degree에 대한 재귀 공식이 확립되어 임의의 $m$과 $n$에 대해 계산이 가능해졌다.
• 스트라타 $W_2^{(m-1)}$의 오일러 지표가 $(m-1) \cdot m!$임을 증명하였으며, 이는 ML degree 계산에 직접 기여한다.
• $m \times n$ 모델의 ML degree는 스트라타의 오일러 지표의 가중합으로 표현되며, 계수는 조합적 구조에서 유도된다.
• 결과적으로, 오일러 지표와 같은 위상수학적 불변량이 특이 통계 모델의 대수적 복잡성을 효과적으로 기록할 수 있음을 보여준다.