[논문 리뷰] Semiparametric panel data models using neural networks

Andrew Crane‐Droesch|arXiv (Cornell University)|2017. 02. 21.

Statistical Methods and Inference참고 문헌 9인용 수 6

한 줄 요약

이 논문은 비모수적 성분으로서 피드포워드 신경망을 사용하여 비선형 관계를 추정하면서도 시간 추세와 고정효과에 대해 편향 없는 모수적 추정을 유지하는 반모수적 패널 데이터 모형을 제안한다. 이 방법은 OLS, LASSO, 랜덤 포레스트보다 더 낮은 MSE와 더 나은 외삽 성능을 보이며, 복잡한 기상-수확량 관계를 근사 명목 신뢰구간 커버리지로 모델링함으로써 카운티 수준의 옥수수 수확량 예측에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper presents an estimator for semiparametric models that uses a feed-forward neural network to fit the nonparametric component. Unlike many methodologies from the machine learning literature, this approach is suitable for longitudinal/panel data. It provides unbiased estimation of the parametric component of the model, with associated confidence intervals that have near-nominal coverage rates. Simulations demonstrate (1) efficiency, (2) that parametric estimates are unbiased, and (3) coverage properties of estimated intervals. An application section demonstrates the method by predicting county-level corn yield using daily weather data from the period 1981-2015, along with parametric time trends representing technological change. The method is shown to out-perform linear methods such as OLS and ridge/lasso, as well as random forest. The procedures described in this paper are implemented in the R package panelNNET.

연구 동기 및 목표

• 비모수적 계수의 편향 없는 추정을 보장하면서도 비모수적 성분에 대해 신경망을 활용하는 반모수적 패널 데이터 추정기 개발
• 기존 기계학습 방법이 고정효과와 비선형성을 동반한 종단적 자료를 다룰 때 겪는 한계 해결
• 반복되는 횡단적 단위와 고차원 공변량을 동반한 환경에서 정확한 예측 및 치료 효과 추정 가능하게 하기
• 비선형 패널 모형에서 모수적 성분에 대해 근사 명목 수준의 커버리지 비율을 갖는 신뢰구간 제공
• 기상 및 토양 데이터를 활용한 실제 수확량 예측에서 이 방법의 우수성 입증

제안 방법

• 모형은 방정식 𝑦𝑖𝑡 = 𝛼𝑖 + 𝑋𝑖𝑡𝛽 + f(𝑍𝑖𝑡) + 𝜀𝑖𝑡 내에서 비모수적 함수 f(𝑍𝑖𝑡)를 피드포워드 신경망을 통해 추정한다.
• 신경망 아키텍처는 입력 변수 𝑍𝑖𝑡를 학습된 가중치를 통해 유도된 비선형 특징으로 변환하는 다층 구조를 포함하며, ReLU 활성화 함수를 사용한다.
• 개인 고정효과 𝛼𝑖를 제거하기 위해 워드린 변환(Within transformation)을 적용하여, f()의 비선형성에도 불구하고 𝛽의 편향 없는 추정을 유지한다.
• 과적합 방지를 위해 가중치 감소 정규화를 적용하고, 배치 경량 최적화 기반의 RMSprop를 사용한 경사 하강법을 사용한다.
• R 패키지 panelNNET를 통해 구현되어 근사 명목 수준의 커버리지 비율을 갖는 신뢰구간 추정이 가능하다.
• 시간 추세, 토양 성분, 지리적 좌표 등의 변수를 선형 성분에 포함시켜 해석 가능성과 외삽 능력을 확보한다.

실험 결과

연구 질문

• RQ1 신경망 기반 추정기로는 비선형 고정효과를 포함한 패널 데이터 모형에서 모수적 계수의 편향 없는 추정이 가능할 수 있는가?
• RQ2 이 모형에서 모수적 계수에 대한 신뢰구간이 근사 명목 수준의 커버리지 비율을 달성하는가?
• RQ3 이 반모수적 신경망 모형은 OLS, LASSO, 랜덤 포레스트보다 카운티 수준의 옥수수 수확량 예측에서 어떤 성능을 보이는가?
• RQ4 고차원 기상 및 토양 데이터를 효과적으로 처리하면서도 학습 기간 이후의 외삽 능력을 유지할 수 있는가?
• RQ5 이 모형은 비관측된 카운티 특성 효과를 고려하면서도 일일 기상 요소와 옥수수 수확량 간의 복잡한 비선형 관계를 어느 정도 잘 포착할 수 있는가?

주요 결과

• 패널 신경망 모형은 2015년 옥수수 수확량 예측에서 평균제곱오차(MSE)가 273을 기록하여 랜덤 포레스트(MSE = 1197)와 LASSO(MSE = 609)보다 유의미하게 낮았다.
• 모형의 예측은 거의 편향 없이 이루어졌으며, 북중부 일리노이 주에서 약간의 과소예측이 관찰되었다.
• 랜덤 포레스트는 학습 기간을 초월한 외삽 능력 부족으로 2015년 예측에서 심각한 편향을 보였으며, 이는 최근접 이웃 알고리즘과 유사한 행동을 보였다.
• LASSO는 시간 추세에 대한 과도한 의존성과 기상 요소의 비선형 효과를 포착하지 못함으로써 약간의 상향 편향을 보였다.
• 시간 추세에 대한 모수적 추정은 편향 없었으며, 신뢰구간은 근사 명목 수준의 커버리지 비율을 보여 추정 방법의 추론적 성질을 검증하였다.
• 시간에 따라 변하지 않는 토양 및 위치 데이터가 비선형 프레임워크에서는 선형 모델에서 고정효과와 공선성이 있었지만도 의미 있는 기여를 하였다.