[논문 리뷰] Verifying the existence of maximum likelihood estimates for generalized linear models

Sergio Correia, Paulo Guimarães외 1명|arXiv (Cornell University)|2019. 03. 05.

Global trade and economics참고 문헌 38인용 수 39

한 줄 요약

이 논문은 Poisson 및 의사-ML 변형을 포함하여 광범위한 일반화 선형 모델(GLMs)에서 ML 추정치가 존재하지 않는 경우를 특징짓고, 특히 고차원 설정에서 고정 효과가 있을 때의 실용적 탐지 및 시정 방법을 제시한다.

ABSTRACT

A fundamental problem with nonlinear models is that maximum likelihood estimates are not guaranteed to exist. Though nonexistence is a well known problem in the binary response model literature, it presents significant challenges for other models and is not as well understood in more general settings. These challenges are only magnified for models that feature many fixed effects and other high-dimensional parameters. We address the current ambiguity surrounding this topic by studying the conditions that govern the existence of estimates for (pseudo-)maximum likelihood estimators used to estimate a wide class of generalized linear models (GLMs). We show that some, but not all, of these GLM estimators can still deliver consistent estimates of at least some of the linear parameters when these conditions fail to hold. We also demonstrate how to verify these conditions in models with high-dimensional parameters, such as panel data models with multiple levels of fixed effects.

연구 동기 및 목표

• GLMs에서 이진 및 비이진 결과에 걸쳐 ML 및 의사-ML 추정치가 존재하지 않는 조건을 명확히 한다.
• 비existence가 발생하더라도 일부 선형 매개변수를 일관되게 추정할 수 있음을 보여준다.
• 고정 효과가 있는 고차원 모델에서의 분리를 탐지하는 실용적 방법을 개발한다.
• 내부 해를 갖는 매개변수에 대해 모델 적합도와 추론을 보존하는 교정 전략을 제안한다.

제안 방법

• 전체 랭크의 설계 행렬과 관측당 우도(bound된)를 갖는 GLM에서 ML 비존재(분리)에 대한 필요충분조건을 도출한다.
• 관측당 우도(list가 경계 없이 확장될 수 있는 경우인 gamma PML 및 inverse Gaussian PML로 분석을 extension한다.
• 반복적 제약조건이 있는 최소제곱회귀(LS) 기법을 이용한 간단하고 확장 가능한 알고리즘으로 분리를 탐지하며, 고차원 LS 기법을 활용한다.
• 분리에 의한 내부 매개변수에 대해 일관성과 타당한 추론을 확립하기 위한 재매개변수화(argument)를 제공한다.
• 분리의 해석과 Poisson, PML, 분수 데이터 모델에 관련된 겹침(overlap) 고려사항 및 분리 증명 방식에 대해 인증서(certificates of separation) 개념을 논의한다.

실험 결과

연구 질문

• RQ1 광범위한 GLM 설정에서 ML 또는 의사-ML 추정치가 존재하지 않는 조건은 무엇인가.
• RQ2 분리 발생 시에도 일부 선형 매개변수를 일관되게 추정할 수 있으며, 이는 어떤 추정기에 대해 성립하는가?
• RQ3 다수의 고정 효과를 가진 고차원 모델에서 분리를 효율적으로 탐지하려면 어떻게 해야 하는가?
• RQ4 정보를 담고 있는 매개변수를 버리지 않으면서 모델 적합도와 타당한 추론을 보존하는 시정책은 무엇인가?

주요 결과

• 분리(nonexistence)는 Poisson 모델뿐만 아니라 광범위한 GLM에 대한 잠재적 문제이다.
• 분리 발생 시에도 일부 선형 매개변수는 일관되게 추정되고 유효한 추론을 얻을 수 있지만, 이는 제시된 모든 추정기에 대해 확장되지는 않는다.
• Gamma PML과 inverse Gaussian PML은 Poisson 및 이진 로짓/프로빗보다 비existence에 대한 더 엄격한 조건을 가지며, 분리 시 더 심각한 결과를 야기한다.
• 사이즈가 큰 고정 효과를 포함한 분리도도 탐지할 수 있는 반복적 최솟제곱법(LS) 기반의 간단하고 확장 가능한 알고리즘이 존재하며, 큰 선형 계획법을 피한다.
• 논문은 비existence를 GLM의 콤팩트화된 프레임워크와 연결하여 조건부 평균이 경계값에 접근할 수 있게 만들고 문제를 모서리 해로 전환한다.
• 저자들은 분리 방향을 식별하기 위한 인증서(certificates of separation) 개념을 도입하고 Poisson, PML, 분수 데이터 모델에 관련된 중첩(overlap) 기준을 논의한다.