[논문 리뷰] Double Machine Learning for Static Panel Models with Fixed Effects

Paul B. S. Clarke, Annalivia Polselli|arXiv (Cornell University)|2023. 12. 13.

Energy, Environment, Economic Growth인용 수 6

한 줄 요약

이 논문은 고정효과를 갖는 정적 패널 데이터 모형에 대해 이중 기계학습(DML) 프레임워크를 개발하여, 표본 분할과 기계학습 기반의 부수적 파rameter 추정을 통해 치료 효과를 정규화함으로써 인과적 추론을 가능하게 한다. 이 방법은 고차원적이거나 비선형적인 교란 요인 조건에서도 치료 효과 추정기의 루트-n 점근 정규성을 보장하며, 시뮬레이션 설계와 실증 적용 전반에서 전통적인 OLS와 Lasso보다 훨씬 낮은 편향과 더 높은 강건성을 확보한다.

ABSTRACT

Recent advances in causal inference have seen the development of methods which make use of the predictive power of machine learning algorithms. In this paper, we develop novel double machine learning (DML) procedures for panel data in which these algorithms are used to approximate high-dimensional and nonlinear nuisance functions of the covariates. Our new procedures are extensions of the well-known correlated random effects, within-group and first-difference estimators from linear to nonlinear panel models, specifically, Robinson (1988)'s partially linear regression model with fixed effects and unspecified nonlinear confounding. Our simulation study assesses the performance of these procedures using different machine learning algorithms. We use our procedures to re-estimate the impact of minimum wage on voting behaviour in the UK. From our results, we recommend the use of first-differencing because it imposes the fewest constraints on the distribution of the fixed effects, and an ensemble learning strategy to ensure optimum estimator accuracy.

연구 동기 및 목표

• 관측되지 않은 개인적 이질성이 치료 변수에 내생적일 수 있는 고정효과를 갖는 정적 패널 데이터 모형에서 교란 요인의 문제를 다루기 위해.
• 이중 기계학습(DML)을 패널 데이터 설정으로 확장하여, 고차원적이거나 비선형적인 부수적 파rameter가 존재하더라도 치료 효과에 대한 타당한 추론을 가능하게 하기 위해.
• 기계학습을 활용해 결과의 조건부 평균을 탄력적으로 모형화함으로써, 멀드락의 장치를 기반으로 한 새로운 추정기(CRE, WG/FD-hybrid, WG/FD-approx)를 개발하고 평가하기 위해.
• 몬테 카를로 시뮬레이션과 영국 최저임금이 투표 행동에 미치는 영향에 대한 실증 적용을 통해 DML의 강건성과 유한표본 성능을 입증하기 위해.
• 관측 패널 데이터 설정에서 어떤 기계학습기법(Lasso, CART, 랜덤 포레스트 등)을 사용하든 일반화 가능한 실용적 프레임워크를 제공하기 위해.

제안 방법

• 과도적 피팅을 방지하기 위해 데이터를 K개의 폴드로 나누어, 각 폴드에서 부수적 함수(예: 치료 및 결과의 조건부 기대값)를 별도로 추정하기 위해 표본 분할을 사용한다.
• Lasso, CART, 랜덤 포레스트 등의 기계학습 방법을 사용하여 각 폴드에서 $\widehat{m}(\mathbf{x}_{it})$와 $\widehat{l}(\mathbf{x}_{it})$의 부수적 함수를 추정하며, 랜덤 그리드 서치를 통한 초모수 조정을 수행한다.
• 이중 DML 절차를 이중 단계로 수행한다: 첫째, 각 폴드에서 부수적 파ram터를 추정한다; 둘째, 잔차화된 치료 변수와 결과 변수를 사용하여 $\theta$에 대한 수직화된 추정식을 해결한다.
• 모멘트 조건 $\mathbb{E}[\psi(\widetilde{W}_{it}; \theta, \widehat{\eta}_k)] = 0$ 기반의 폐쇄형 해를 통해 DML 추정기 $\widehat{\theta}_k$를 유도하며, $\psi$는 잔차화된 치료 변수와 결과 변수의 곱으로 정의된다.
• 폴드별 $\widehat{\theta}_k$ 추정치를 평균내어 최종 DML 추정기를 확보함으로써, 규칙성 조건 하에 루트-n 일致성과 점근 정규성을 확보한다.
• 추론을 위해 클러스터-로버스트 분산 추정을 사용하며, $\widehat{J}_0$는 각 폴드에서의 치료 회귀 모형 잔차 제곱 평균으로 계산된다.

실험 결과

연구 질문

• RQ1 이중 기계학습이 고정효과를 갖는 정적 패널 데이터 모형에 성공적으로 적용되어 치료 효과에 대한 타당한 추론을 가능하게 할 수 있는가?
• RQ2 진짜 기능 형태가 비선형인가 고차원적인 경우, Lasso, CART, 랜덤 포레스트와 같은 기계학습 방법이 부수적 파라미터 추정에 어떻게 성능을 발휘하는가?
• RQ3 표본 분할과 수직화 기법을 통한 DML 접근법이, 고정효과가 존재하는 유한표본에서 전통적인 OLS와 Lasso보다 편향을 줄이는가?
• RQ4 DML 추정기는 초모수 조정에 얼마나 민감한가? 이는 실증적 강건성에 어떤 영향을 미치는가?
• RQ5 DML 프레임워크는 영국 최저임금이 투표 행동에 미치는 영향과 같은 실제 패널 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• Lasso, CART, 랜덤 포레스트를 사용한 DML은 비선형 데이터 생성 과정(DGP) 조건에서 OLS와 사전 사전지식이 있는 Lasso보다 치료 효과 추정의 편향을 크게 감소시킨다.
• 나무 기반 방법(CART와 랜덤 포레스트)은 표준오차를 과소추정하고, 정규분포가 아닌 표본 분포를 보이며, 이는 소표본에서 크기 왜곡이 발생할 수 있음을 시사한다.
• 부수적 함수가 비선형인 경우에도 DML 추정기는 수직화 및 표본 분할 메커니즘 덕분에 루트-n 일치성과 점근 정규성을 유지한다.
• 영국 최저임금에 대한 실증 적용에서, DML을 사용한 CART와 랜덤 포레스트는 OLS(0.088, SE=0.045)보다 더 큰 추정치(0.149, SE=0.127)를 도출하였으며, 이는 선형 모형에서의 이질성 또는 모형 잘못 설정 가능성을 시사한다.
• 랜덤 그리드 서치를 통한 초모수 조정을 통한 DML 프레임워크는 비연속적이거나 비선형적인 관계를 포함한 다양한 DGP에서 강건한 성능을 보였다.
• WG/FD-hybrid와 CRE 추정기는 고정효과가 예측 변수와 비선형적으로 관련되어 있을 경우 표준 고정효과보다 더 향상된 유한표본 성능을 보였다.

(a)