[논문 리뷰] The Algebraic Complexity of Maximum Likelihood Estimation for Bivariate Missing Data

Serkan Hoşten, Seth Sullivant|ArXiv.org|2007. 09. 06.

Random Matrices and Applications참고 문헌 2인용 수 11

한 줄 요약

이 논문은 계산대수기하학을 사용하여 Missing at at at Random (MAR) 가정 하에 이변량 결측 데이터에 대한 최대우도추정(MLE)의 대수적 복잡도를 조사한다. 이변량 정규분포 데이터의 경우, 점수방정식은 아홉 개의 복소해를 가지며, 올바른 MAR 가정 하에 실수해 중 하나가 존재하고 통계적으로의미 있는 해가 된다; 다항분포 데이터의 경우, 모든 해가 실수이며 해의 수는 상태 수에 따라 지수적으로 증가하지만, 통계적으로 의미 있는 해는 하나뿐이다.

ABSTRACT

We study the problem of maximum likelihood estimation for general patterns of bivariate missing data for normal and multinomial random variables, under the assumption that the data is missing at random (MAR). For normal data, the score equations have nine complex solutions, at least one of which is real and statistically significant. Our computations suggest that the number of real solutions is related to whether or not the MAR assumption is satisfied. In the multinomial case, all solutions to the score equations are real and the number of real solutions grows exponentially in the number of states of the underlying random variables, though there is always precisely one statistically significant local maxima.

연구 동기 및 목표

• MAR 가정 하에 이변량 결측 데이터 모형에서 최대우도추정(MLE)의 대수적 구조를 분석하기.
• 결측 데이터가 있는 정규분포 및 다항분포에 대해 점수방정식의 복소해와 실수해의 수를 결정하기.
• 모형 오특사용 또는 잘못된 결측 데이터 메커니즘의 영향이 우도함수의 국소최대값 수에 어떻게 영향을 주는지 조사하기.
• 다항분포 이변량 결측 데이터 설정에서 최대우도도(ML-degree)에 대한 조합공식을 수립하기.
• 대수기하학 기법을 통해 우도방정식의 기하학적 구조를 0/1행렬과 lonesum 행렬의 구조와 연결하기.

제안 방법

• 이변량 결측 데이터의 우도함수의 임계방정식(점수방정식)을 분석하기 위해 계산대수기하학을 사용하기.
• 최대우도도(ML-degree)를 점수방정식의 복소해 수로 정의하며, 이는 일반적인 데이터에 대해 일정하게 유지된다.
• 정규모형을 정밀행렬(inverse covariance matrix)를 사용하여 변환하여 로그우도 및 점수방정식을 단순화하기.
• 다항분포의 경우, 결측 항목이 있는 연도표(contingency table)로 문제를 모델링하고, 표의 지지집합에 대한 조합적 제약조건을 사용하기.
• lonesum 행렬—행과 열의 합으로 유일하게 결정되는 0/1행렬—의 결과를 적용하여 결측 데이터 패턴의 유효한 구성 수를 세기.
• 다항분포의 경우 ML-degree 공식을 유도하기 위해 타당한 매개변수 해의 집합에 대해 포함배제 및 유계성 추론을 적용하기.

실험 결과

연구 질문

• RQ1 MAR 가정 하에 이변량 정규분포 결측 데이터 모형에서 점수방정식의 복소해는 총 몇 개인가?
• RQ2 정규분포 이변량 모형에서 점수방정식의 실수해 수는 MAR 가정의 타당성과 어떻게 관련이 있는가?
• RQ3 결측 데이터가 있는 이변량 다항분포 모형의 최대우도도(ML-degree)는 얼마인가?
• RQ4 다항분포 모형의 상태 수가 증가함에 따라 점수방정식의 실수해 수는 어떻게 증가하는가?
• RQ5 다항분포 이변량 결측 데이터 모형에서 ML-degree의 배경이 되는 조합적 구조는 무엇인가?

주요 결과

• MAR 하에 이변량 정규분포 데이터의 경우, 점수방정식은 정확히 아홉 개의 복소해를 가지며, 그 중 최소한 하나의 실수해가 존재하고 통계적으로의미 있는 해가 된다.
• MAR 가정이 성립하고 모형이 정확히 특정된 경우, 시뮬레이션 결과에서 국소최대값이 되는 유일한 실수해가 존재함을 보여준다.
• 모형 오특사용 또는 잘못된 결측 데이터 메커니즘이 적용될 경우, 여러 개의 통계적으로 관련 있는 국소최대값이 존재할 수 있으며, 이는 EM 알고리즘을 통한 MLE를 복잡하게 만든다.
• 다항분포 이변량 결측 데이터의 경우, 점수방정식의 모든 해가 실수이며, 실수해의 수는 상태 수에 따라 지수적으로 증가한다.
• 다항분포의 경우 ML-degree는 음수 인덱스 다중베르누이 수를 포함하는 조합공식으로 주어지며, lonesum 행렬의 수를 세는 데서 유도된다.
• 다항분포의 경우 ML-degree는 특정 2×2 부분행렬(금지된 부분행렬에 대응하는 순열 패턴을 가진)이 없는 0/1행렬의 수와 같으며, 이는 lonesum 행렬에 대한 포함배제 원리로 계산된다.