[논문 리뷰] Counterfactual time-series prediction with encoder-decoder networks

Jason Poulos|arXiv (Cornell University)|2017. 12. 10.

Water resources management and optimization인용 수 1

한 줄 요약

이 논문은 공공학교 지출에 대한 정책 개혁의 장기적 영향을 추정하기 위해 인코더-디코더 RNN을 사용하는 반사적 시계열 예측 방법을 제안한다. 제어 단위에서 시간적 표현을 학습하고 이를 치료 단위에 전이함으로써, 모델은 패널 데이터에서 비선형적이고 음성 상호작용을 포착할 수 있으며, 정확한 반사적 결과 예측이 가능해진다.

ABSTRACT

This paper proposes a method for estimating the effect of a policy intervention on an outcome over time. We train recurrent neural networks (RNNs) on the history of control unit outcomes to learn a useful representation for predicting future outcomes. The learned representation of control units is then applied to the treated units for predicting counterfactual outcomes. RNNs are specifically structured to exploit temporal dependencies in panel data, and are able to learn negative and nonlinear interactions between control unit outcomes. We apply the method to the problem of estimating the long-run impact of U.S. homestead policy on public school spending.

연구 동기 및 목표

• 미국의 주거지 정책이 공공학교 지출에 미치는 장기적 영향을 추정하기 위해.
• 복잡한 시간적 의존성이 존재하는 상황에서 반사적 시계열 예측 방법을 개발하기 위해.
• 반복 신경망을 활용하여 제어 단위 결과 간의 비선형적이고 음성 상호작용을 모델링하기 위해.
• 제어 단위에서 학습된 표현을 치료 단위의 반사적 결과 예측에 전이하기 위해.

제안 방법

• 제어 단위의 역사를 기반으로 인코더-디코더 RNN 아키텍처를 훈련하여 시간적 표현을 학습한다.
• RNN 인코더를 사용해 제어 단위의 시계열 데이터를 저차원 잠재 공간에 임bedding한다.
• 학습된 인코더를 활용해 치료 단위 데이터에 적용하여 반사적 결과 예측을 생성한다.
• RNN의 반복적 구조를 활용해 시간과 단위 간 비선형적이고 음성 상호작용을 모델링한다.
• 패널 데이터 구조를 활용해 일반화 능력과 예측 정확도를 향상시킨다.
• 역사적 제어 단위 궤적을 미래 결과로 매핑하는 시퀀스-투-시퀀스 학습을 적용한다.

실험 결과

연구 질문

• RQ1 미국의 주거지 정책이 공공학교 지출에 미치는 장기적 영향은 무엇인가?
• RQ2 RNN 기반 모델은 시계열 정책 평가에서 반사적 결과를 효과적으로 예측할 수 있는가?
• RQ3 제어 단위에서 학습된 표현이 치료 단위의 결과 예측에 얼마나 잘 일반화되는가?
• RQ4 RNN은 패널 데이터에서 반사적 추정을 위해 비선형적이고 음성 상호작용을 얼마나 잘 포착하는가?

주요 결과

• 제안된 방법은 반사적 예측을 통해 미국의 주거지 정책이 공공학교 지출에 미치는 장기적 영향을 성공적으로 추정하였다.
• RNN 기반 접근법은 제어 단위 데이터의 복잡한 시간적 의존성과 비선형 상호작용을 포착하였다.
• 제어 단위에서 학습된 표현을 치료 단위에 전이함으로써 반사적 예측 정확도가 향상되었다.
• 모델는 패널 데이터에서 음성 및 비선형 관계를 효과적으로 모델링함으로써 기준 모델을 능가하였다.
• 인코더-디코더 구조는 역사를 기반으로 한 제어 단위 궤적을 바탕으로 미래 결과를 견고하게 예측할 수 있도록 하였다.
• 제한된 치료 단위 데이터를 가진 실제 정책 평가 과제에서 높은 일반화 능력을 보였다.