[논문 리뷰] Predicting Inflation with Recurrent Neural Networks

Livia Paranhos|arXiv (Cornell University)|2021. 04. 08.

Market Dynamics and Volatility인용 수 4

한 줄 요약

이 논문은 FRED-MD 데이터셋을 사용하여 미국 인플레이션을 예측하기 위해 장기 기억(long short-term memory, LSTM) 순환 신경망을 적용하며, 장기 예측 수준과 거시경제적 불안정성 기간 동안 기존 모델보다 LSTM이 뛰어난 성능을 보임을 입증한다. 또한 모델는 비선형 차원 축소 도구로도 기능하여 출력 격차와 인플레이션 예측 변수와 관련된 경제적으로 의미 있는 요인을 추출하며, 초기화 및 아키텍처에 대한 민감성으로 인해 앙상블 방법의 중요성을 부각시킨다.

ABSTRACT

This paper applies a recurrent neural network, the LSTM, to forecast inflation. This is an appealing model for time series as it processes each time step sequentially and explicitly learns dynamic dependencies. The paper also explores the dimension reduction capability of the model to uncover economically-meaningful factors that can explain the inflation process. Results from an exercise with US data indicate that the estimated neural nets present competitive, but not outstanding, performance against common benchmarks (including other machine learning models). The LSTM in particular is found to perform well at long horizons and during periods of heightened macroeconomic uncertainty. Interestingly, LSTM-implied factors present high correlation with business cycle indicators, informing on the usefulness of such signals as inflation predictors. The paper also sheds light on the impact of network initialization and architecture on forecast performance.

연구 동기 및 목표

• 기존 모델 및 기계학습 기준 모델과 비교하여 LSTM 네트워크의 미국 인플레이션 예측 성능을 평가하는 것.
• LSTM이 인플레이션 동적을 설명하는 비선형적이고 경제적으로 의미 있는 요인을 추출할 수 있는지 탐색하는 것.
• 네트워크 초기화 및 아키텍처가 예측 정확도에 미치는 영향을 평가하는 것.
• 거시경제 예측에 네트워크를 구현하는 데 실용적인 지침을 제공하며, 특히 앙상블 기법의 중요성을 강조하는 것.

제안 방법

• 연구는 순차적 인플레이션 데이터를 모델링하기 위해 장기 기억(Long Short-Term Memory, LSTM) 순환 신경망을 활용하며, 게이트 메모리 유닛을 통해 장기 의존성을 포착한다.
• 모델은 미국 소비자물가지수(CPI) 및 PCE 인플레이션을 예측하기 위해 137개의 거시경제 및 금융 지표를 포함한 FRED-MD 데이터셋에서 훈련된다.
• LSTM의 은닉층에서 비선형 요인이 추출되며, 이는 예측 목적의 감춰진 상태로 해석되며, 예측 맥락에서 주성분분석(PCA)을 일반화한 것으로 간주된다.
• 예측 성능 평가에는 검증용 평균제곱예측오차(MSPE)와 Random Forest, LASSO, Ridge, Elastic-net, 피드포워드 네트워크 등 기준 모델과의 Diebold-Mariano 검정이 사용된다.
• 초기화 민감성 완화 및 강건성 향상을 위해 1,400개의 서로 다른 무작위 초기화에 대한 예측 평균을 취한 앙상블 접근법이 구현된다.
• 경제적 내용 해석을 위해 분산 분해 및 상관분석이 사용되며, 이를 통해 LSTM에서 유도된 요인들이 경기 사이클 지표와 알려진 인플레이션 예측 변수와 연결된다.

Figure 1: The feed-forward neural network

실험 결과

연구 질문

• RQ1 LSTM 모델은 다양한 예측 수준에서 기존 모델 및 기계학습 기준 모델과 비교해 미국 인플레이션 예측 성능가 어떻게 비교되는가?
• RQ2 LSTM 네트워크는 인플레이션 추세와 경기 사이클 역학을 포착하는 비선형적이고 경제적으로 해석 가능한 요인을 추출할 수 있는가?
• RQ3 LSTM 모델에서 예측 성능이 네트워크 초기화 및 아키텍처에 얼마나 민감한가?
• RQ4 여러 초기화에 대한 앙상블 평균화가 예측 정확도 및 강건성에 상당한 영향을 미치는가?

주요 결과

• LSTM 모델은 특히 장기 예측 수준(예: 24개월 예측)과 글로벌 금융위기(GFC) 이후와 같은 거시경제적 불안정성 기간에 뛰어난 성능을 보이며 경쟁적인 예측 성능을 제공한다.
• LSTM는 대부분의 기준 모델보다 뛰어난 성능를 보이지만, 전체 정확도에서 더 뛰어난 성능를 보이는 랜덤 포레스트 모델에 밀리는 경우가 있다.
• LSTM에서 유도된 요인들은 출력 격차 및 기타 경기 사이클 지표와 높은 상관관계(r > 0.7)를 보이며, 이는 주요 인플레이션 주도 요인을 포착하고 있음을 시사한다.
• LSTM 요인의 분산 분해 결과에서 주택 착공 수와 기업 채권 스프레드에 상당한 기여도가 나타나며, 이는 인플레이션 문헌에서 확인된 핵심 예측 변수들과 일치한다.
• 네트워크 초기화가 예측에 상당한 영향을 미치며, 개별 실행 결과 간 큰 변동성이 관찰된다; 그러나 앙상블 평균은 Diebold-Mariano 검정에서 5% 유의수준에서 어떤 단일 초기화보다도 항상 뛰어난 성능를 보인다.
• 더 큰 네트워크일수록 초기화 민감도가 더 높으며, 더 큰 아키텍처에 대해 일관된 성능 우위를 확보할 수 없어, 예측을 안정화하기 위해 앙상블 방법의 필요성을 강조한다.

Figure 2: The LSTM and the flow of information