[논문 리뷰] ppmlhdfe: Fast Poisson Estimation with High-Dimensional Fixed Effects

Sergio Correia, Paulo Guimarães외 1명|arXiv (Cornell University)|2019. 03. 05.

Statistical Methods and Bayesian Inference참고 문헌 17인용 수 50

한 줄 요약

ppmlhdfe는 다중 고차원 고정효과를 갖는 포아송 회귀에 대해 최적화된 IRLS 알고리즘과 강건한 MLE 존재성 검사를 사용하여 빠른 Stata 구현을 제공합니다. 이는 효율적인 고차원 추정을 위해 reghdfe를 기반으로 합니다.

ABSTRACT

In this paper we present ppmlhdfe, a new Stata command for estimation of (pseudo) Poisson regression models with multiple high-dimensional fixed effects (HDFE). Estimation is implemented using a modified version of the iteratively reweighted least-squares (IRLS) algorithm that allows for fast estimation in the presence of HDFE. Because the code is built around the reghdfe package, it has similar syntax, supports many of the same functionalities, and benefits from reghdfe's fast convergence properties for computing high-dimensional least squares problems. Performance is further enhanced by some new techniques we introduce for accelerating HDFE-IRLS estimation specifically. ppmlhdfe also implements a novel and more robust approach to check for the existence of (pseudo) maximum likelihood estimates.

연구 동기 및 목표

• Poisson 의사 최대우도(PPML)를 많은 0이 있는 비음수 종속 데이터에 대한 강건한 대안으로 제시한다.
• PPML을 고차원 고정효과(HDFE)가 있는 설정으로 확장한다.
• 고정효과(HDFE)가 있는 빠른 비선형 Poisson 추정을 가능하게 하도록 reghdfe 프레임워크를 활용하고 적응시킨다.
• PPML(HDFE)에서 MLE 존재성을 검증하기 위한 견고한 절차를 도입한다.

제안 방법

• PPML 추정을 위해 수정된 반복가중최소제곱(IRLS) 알고리즘을 사용한다.
• 고차원 고정효과를 흡수하고 추정 문제의 차원을 축소하기 위해 내부변환(Within-transformation, FWL)을 적용한다.
• HDFE 계산을 가속하고 기본 HDFE 솔버 호출 횟수를 줄이기 위해 reghdfe의 Mata 루틴을 내장한다.
• 계산 속도를 높이기 위해 점진적 내부변환과 적응형 내부루프 수렴 기준을 도입한다.
• MLE 존재를 보장하기 위해 분리된 관측치를 탐지하고 처리하는 방법을 포함한다.

실험 결과

연구 질문

• RQ1 다중 고차원 고정효과가 있을 때 PPML을 어떻게 효율적으로 추정할 수 있는가?
• RQ2 Within-transformation이 있는 IRLS를 가속화하여 HDFE 비선형 모델을 효과적으로 처리할 수 있는가?
• RQ3 고차원 고정효과 맥락에서 PPML MLE의 존재성을 견고하게 검증할 수 있는가?
• RQ4 기존의 비선형 HDFE 접근법에 비해 실질적인 성능 향상은 무엇인가?
• RQ5 수렴성과 강건성 면에서 ppmlhdfe가 다른 PPML/GLM 도구와 어떻게 비교되는가?

주요 결과

• ppmlhdfe는 X와 z를 점진적으로 내부변환하고 IRLS 반복 간에 변환을 재사용함으로써 실질적인 속도 향상을 달성한다.
• 이 방법은 HDFE 솔버 호출을 더 적게 필요로 하며, 종종 호출을 50% 이상 감소시켜 수렴을 가속한다.
• ppmlhdfe는 분리된 관측치를 견고하게 탐지하고 문제 관측치를 제거하여 유효한 MLE 존재를 보장한다.
• 이 접근법은 고정효과 설정에서 PPML과 일치하는 결과를 제공하고 흡수된 고정효과를 가진 표준 PPML 출력을 재현한다.
• 사례들은 분리성에 대한 강건성과 상호작용 및 이질적 기울기를 포함한 다중 고정효과를 흡수하는 능력을 보여준다.
• 해당 명령은 팩토리얼 고정효과와 호환되며 다방향 클러스터링 및 다양한 VCE 옵션을 지원한다.