[논문 리뷰] Fast and Feasible Estimation of Generalized Linear Models with High-Dimensional k-way Fixed Effects

Amrei Stammann|arXiv (Cornell University)|2017. 07. 06.

Control Systems and IdentificationEngineering인용 수 20

한 줄 요약

이 논문은 뉴턴-라프슨 프레임워크와 가중치가 부여된 프리시-울프-로벨 정리, 그리고 번갈아가며 투영하는 방법을 결합하여 고차원 k-방향 고정효과를 가진 일반선형모형(GLMs)을 빠르고 메모리 효율적으로 추정하는 알고리즘을 제시한다. 이 방법은 반복적으로 고정효과를 빼내는 방식으로 로짓, 프로빗, 푸아송 모형과 같은 복잡한 고정효과의 구조를 갖는 모형을 실현 가능한 추정이 가능하게 하여, 디뮤드 변수 방법에 비해 거의 정확도가 같고 속도가 수개의 주기 수준으로 향상된다.

ABSTRACT

We present a fast and memory efficient algorithm for the estimation of generalized linear models with an additive separable k-way error component. The brute force approach uses dummy variables to account for the unobserved heterogeneity, but quickly faces computational limits. Thus, we show how a weighted version of the Frisch-Waugh-Lovell theorem combined with the method of alternating projections can be incorporated into a Newton-Raphson algorithm to dramatically reduce the computational costs. The algorithm is especially useful in situations, where generalized linear models with k-way fixed effects based on dummy variables are computationally demanding or even infeasible due to time or memory limitations. In a simulation study and an empirical application we demonstrate the performance of our algorithm.

연구 동기 및 목표

• 표준 디뮤드 변수 방법을 사용할 경우 고차원 k-방향 고정효과를 가진 일반선형모형을 추정하는 데 있어 계산상의 비현실성 문제를 해결하기 위해.
• 이전에는 선형 모형에 국한되어 있던 효율적인 고정효과 추정 기법을 일반선형모형 프레임워크로 확장하기 위해.
• 로짓, 프로빗, 푸아송 모형에 대해 높은 수치 정확도를 유지하면서 메모리와 시간 효율성을 확보하는 알고리즘을 개발하기 위해.
• 노동경제학 및 무역 econometrics에서 사용되는 큰 패널 데이터셋에서 복잡한 고정효과 모형을 실용적으로 추정할 수 있도록 하기 위해.
• 고차원 설정에서 브루트 포스 디뮤드 변수 추정에 대한 강력하고 확장 가능한 대안을 제공하기 위해.

제안 방법

• 매 뉴턴-라프슨 반복 단계에 가중치가 부여된 프리시-울프-로벨 정리를 통합하여 선형 예측자에서 고정효과를 투영해 제거한다.
• 각 고정효과 차원에 대해 반복적으로 데이터를 중심화하는 방식의 번갈아가며 투영 방법을 사용하여 계산 부담을 줄인다.
• 직접적으로 추정하지 않고도 고정효과를 집약적으로 제거할 수 있도록 각 반복 단계에서 가짜 중심화 단계를 적용하여 수치 효율성을 유지한다.
• 속도와 정확도의 균형을 맞추기 위해 조정 가능한 정확도 수준을 가진 뉴먼-할퍼린 투영을 사용한다.
• 최적화 이후에 별도로 고정효과 추정치를 복원하여 큰 설계 행렬의 직접 역행렬 계산을 피한다.
• 이 방법은 선형 모형을 다루는 lfe가 이미 처리하는 것과는 별개로, 비선형 GLMs 전용으로 설계된 R 패키지 alpaca에 구현되어 있다.

실험 결과

연구 질문

• RQ1 고차원 k-방향 고정효과를 가진 일반선형모형을 위한 계산상 효율적인 알고리즘을 개발할 수 있는가?
• RQ2 디뮤드 변수 기준과 비교할 때 반복적 투영 방법을 통해 고정효과를 얼마나 정확하게 추정할 수 있는가?
• RQ3 큰 패널 데이터셋에서 제안된 알고리즘이 계산 시간과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ4 다양한 모형 사양과 데이터 크기에서 수치적 안정성과 수렴성은 어떻게 유지되는가?
• RQ5 이 알고리즘은 로짓, 프로빗, 푸아송 등 다양한 GLM 가족으로 일반화될 수 있는가?

주요 결과

• 알고리즘은 거의 완벽한 수치 정확도를 달성하여, 테스트된 모든 N-T 조합에서 최대 5자리 및 8자리 정밀도에서 정확도 빈도가 1.00(100%)이다.
• 16자리 정밀도의 경우 일부 케이스에서 정확도가 0.00으로 떨어지지만, 이는 부동소수점 산술의 본질적 한계에 기인한 것으로 알고리즘의 실패를 의미하지는 않는다.
• alpaca 알고리즘의 계산 시간은 N=200, T=50일 경우에도 1.5초 이내로 유지되며, 디뮤드 변수 방법은 140초 이상 소요된다.
• alpaca의 평균 계산 시간은 표본 크기에 대해 비선형적으로 증가하지만, 디뮤드 변수 방법은 제곱 또는 그 이상의 비율로 증가한다.
• 모든 테스트된 GLM 가족(로짓, 프로빗, 푸아송)에서 높은 정확도를 유지하며, 다양한 데이터 구성에서 일관된 성능을 보였다.
• 이 알고리즘은 표준 디뮤드 변수 방법으로는 비현실적인 대규모 데이터셋(예: N=200, T=50)에서 삼중 고정효과 PPML 모형의 추정을 가능하게 한다.