[논문 리뷰] Maximum Likelihood Estimation in Log-Linear Models: Theory and Algorithms

Stephen E. Fienberg, Alessandro Rinaldo|arXiv (Cornell University)|2011. 04. 19.

Bayesian Modeling and Causal Inference인용 수 13

한 줄 요약

이 논문은 조건부 포아송 표본 추출 하에서 로그선형 모형의 최대우도추정량(MLE)의 존재를 위한 필수 및 필요조건을 수립하며, 관측 표본의 표본 영점이 미치는 영향을 강조한다. 또한 표준 소프트웨어에서의 결함을 수정하는 개선된 확장 MLE 추정 알고리즘을 제안한다. 특히 존재하지 않는 MLE에 대한 대응이 특히 중요하다.

ABSTRACT

We study maximum likelihood estimation in log-linear models under conditional Poisson sampling schemes. We derive necessary and sufficient conditions for existence of the maximum likelihood estimator (MLE) of the model parameters and investigate estimability of the natural and mean-value parameters under a non-existent MLE. Our conditions focus on the role of sampling zeros in the observed table. We situate our results within the general framework of extended exponential families and we rely in a fundamental way on key geometric properties of log-linear models. We propose algorithms for extended maximum likelihood estimation that improve and correct the existing algorithms for log-linear model analysis, especially as encapsulated in most standard computing packages, which appear to be oblivious to the problem of nonexistence of the MLE.

연구 동기 및 목표

• 조건부 포아송 표본 추출 하에서 로그선형 모형에서 MLE가 존재하는 정확한 조건을 규명하는 것.
• MLE가 존재하지 않을 경우 천연파rameter와 평균값parameter의 추정 가능성(estiability)을 분석하는 것.
• 표준 통계 소프트웨어에서 로그선형 모형에서 MLE의 존재 불가능성에 대한 일반적인 무지함을 다루는 것.
• 존재하지 않는 MLE를 정확히 다룰 수 있는 개선된 확장 최대우도추정 알고리즘을 개발하는 것.
• 로그선형 모형의 기하적 성질을 활용하여 확장 지수가우수족의 프레임워크 내에 결과를 통합하는 것.

제안 방법

• 관측 연관표의 표본 영점의 배치에 기반하여 MLE 존재에 대한 필요 및 충분조건을 유도하는 것.
• 충분통계의 구조와 매개변수 공간의 볼록기하학적 성질을 포함한 로그선형 모형의 기하적 성질을 사용하는 것.
• 고전적 의미에서 MLE가 존재하지 않는 경우를 다루기 위해 확장 지수가우수족 이론을 적용하는 것.
• 기존 MLE가 실패할 경우에도 잘 정의된 해로 수렴하는 반복 알고리즘을 제안하는 것.
• 표준 소프트웨어 패키지에서 흔히 발생하는 오류를 수정하기 위해 알고리즘 프레임워크를 강력한 계산 파이프라인에 통합하는 것.
• 천연파라미터와 평균값파라미터 간의 이중성(duality)을 활용하여 비정규 케이스에서의 추정 가능성 분석을 수행하는 것.

실험 결과

연구 질문

• RQ1 조건부 포아송 표본 추출 하에서 로그선형 모형에서 최대우도추정량이 존재하는 조건은 무엇인가?
• RQ2 MLE가 존재하지 않을 경우 천연파라미터와 평균값파라미터의 추정 가능성은 어떻게 평가할 수 있는가?
• RQ3 관측 표본의 표본 영점은 MLE 존재성과 추정 가능성에 어떤 역할을 하는가?
• RQ4 기존 로그선형 모형 분석 알고리즘은 어떻게 개선되어 있어야 비존재하는 MLE를 다룰 수 있는가?
• RQ5 로그선형 모형의 기하학적 성질과 지수가우수족 성질은 확장 MLE 프레임워크에 어떻게 기여하는가?

주요 결과

• 로그선형 모형에서 MLE의 존재는 표본 영점의 충분통계에 대한 상대적 위치에 의해 결정되며, 정확한 기하학적 특성화가 제공된다.
• MLE가 존재하지 않을 경우, 본 논문은 확장 지수가우수족 프레임워크를 통해 천연파라미터와 평균값파라미터의 추정 가능성을 여전히 평가할 수 있음을 보여준다.
• 제안된 확장 MLE 추정 알고리즘은 표본 영점이 존재하는 경우를 포함해 표준 구현보다 더 강력하고 정확한 것으로 입증되었다.
• 연구는 많은 표준 통계 소프트웨어 패키지가 비존재하는 MLE를 탐지하거나 처리하지 못해 오해의 소지가 있는 추론을 초래할 수 있음을 드러냈다.
• 로그선형 모형 공간의 기하학적 구조는 비정규 케이스에서도 확장 MLE 해가 잘 정의되고 해석 가능하게 유지됨을 보장한다.
• 이중성과 지수가우수족의 볼록기하학을 활용함으로써, MLE 존재성과 추정 가능성의 처리를 통합적으로 성공적으로 통합하였다.