[논문 리뷰] Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box

Manuel Nunes, Enrico Gerding외 2명|arXiv (Cornell University)|2020. 01. 01.

Stock Market Forecasting Methods참고 문헌 53인용 수 1

한 줄 요약

이 논문은 장기적 기억을 갖는 장기적 단기 기억(LSTM) 신경망과 외부 변수를 활용한 설명 가능성을 결합한 새로운 LSTM-LagLasso 방법론을 제안한다. 이 방법론은 10년 만기 국채 수익률을 예측하고, 모델의 내부 의사결정 과정을 해석한다. 연구 결과, 메모리 기반의 단변량 LSTM 모델이 메모리가 없는 다층퍼셉트론(MLP) 모델보다 성능이 뛰어나며, LSTM 유닛이 수익률 범위와 입력 특성에 따라 동적으로 활성화/비활성화됨을 확인하였다. 이러한 신호는 새로운 LSTM-LagLasso 프레임워크를 통해 외부 거시경제 및 시장 변수로 설명 가능하다.

ABSTRACT

Modern decision-making in fixed income asset management benefits from intelligent systems, which involve the use of state-of-the-art machine learning models and appropriate methodologies. We conduct the first study of bond yield forecasting using long short-term memory (LSTM) networks, validating its potential and identifying its memory advantage. Specifically, we model the 10-year bond yield using univariate LSTMs with three input sequences and five forecasting horizons. We compare those with multilayer perceptrons (MLP), univariate and with the most relevant features. To demystify the notion of black box associated with LSTMs, we conduct the first internal study of the model. To this end, we calculate the LSTM signals through time, at selected locations in the memory cell, using sequence-to-sequence architectures, uni and multivariate. We then proceed to explain the states' signals using exogenous information, for what we develop the LSTM-LagLasso methodology. The results show that the univariate LSTM model with additional memory is capable of achieving similar results as the multivariate MLP using macroeconomic and market information. Furthermore, shorter forecasting horizons require smaller input sequences and vice-versa. The most remarkable property found consistently in the LSTM signals, is the activation/deactivation of units through time, and the specialisation of units by yield range or feature. Those signals are complex but can be explained by exogenous variables. Additionally, some of the relevant features identified via LSTM-LagLasso are not commonly used in forecasting models. In conclusion, our work validates the potential of LSTMs and methodologies for bonds, providing additional tools for financial practitioners.

연구 동기 및 목표

• 10년 만기 국채 수익률 예측 성능을 메모리가 없는 모델(예: 다층퍼셉트론)과 비교하여 평가하는 것.
• 메모리 세포와 은닉 상태의 시간에 따른 내부 신호 분석을 통해 LSTM의 블랙박스 성격을 해소하는 것.
• LSTM 예측에 영향을 주는 외부 특성과 그 시간 지연을 식별하는 새로운 설명 가능성 방법론인 LSTM-LagLasso를 개발하고 검증하는 것.
• 기존의 전통적 채권 수익률 예측 모델에서 흔히 사용되지 않는 비표준이지만 예측력이 있는 거시경제 및 시장 지표를 식별하는 것.

제안 방법

• 해석 가능성 향상을 위해 3개의 은닉 유닛을 갖는 단변량 및 다변량 시퀀스-투-시퀀스 LSTM 아키텍처를 사용하며, 10년 만기 수익률 및 추가 특성에 대해 훈련한다.
• 선택된 메모리 세포 위치에서 핵심 LSTM 구성요소(기억 게이트, 입력 게이트, 세포 상태, 은닉 상태, 출력 게이트)의 시계열 신호를 추출하고 분석한다.
• LSTM-LagLasso—Lasso와 칼만-지연-Lasso의 하이브리드—를 도입하여 지연된 외부 변수를 활용해 LSTM 내부 상태를 설명하고 관련 특성 및 지연을 식별한다.
• LSTM-LagLasso 방법을 적용해 거시경제 및 시장 데이터를 활용해 LSTM 신호를 설명하고, 어떤 외부 변수가 모델 행동에 영향을 주는지 규명한다.
• 해석 가능성 향상을 위해 단순화된 아키텍처(3개의 은닉 유닛)와 짧은 예측 기간(1~5일)을 사용하여 신호 동역학을 추적한다.
• 결과를 다층퍼셉트론과 비교하고, 다양한 입력 시퀀스와 예측 기간에서의 성능을 평가하여 검증한다.

실험 결과

연구 질문

• RQ1 메모리 기반의 단변량 LSTM 모델이 10년 만기 국채 수익률 예측에서 메모리가 없는 모델(예: 다층퍼셉트론)보다 성능이 뛰어나게 되는가?
• RQ2 LSTM 내부 상태(세포 상태 및 은닉 상태 등)는 시간이 지남에 따라 어떻게 변화하는가? 이러한 동역학은 외부 거시경제 또는 시장 변수로 설명될 수 있는가?
• RQ3 채권 수익률 예측을 위한 LSTM 모델 내부 신호를 설명하는 데 가장 관련성이 높은 특성과 시간 지연은 무엇인가?
• RQ4 기존에 흔히 사용되지 않는 비표준 지표가 LSTM 기반 수익률 예측에 유의미하게 기여하는가?
• RQ5 LSTM-LagLasso 방법론은 외부 변수와 LSTM 내부 상태 간에 의미 있는, 해석 가능한 관계를 얼마나 잘 식별할 수 있는가?

주요 결과

• 추가 메모리 기반의 단변량 LSTM 모델은 거시경제 및 시장 데이터를 사용한 다변량 MLP 모델과 비슷한 예측 성능를 달성한다.
• 짧은 예측 기간은 짧은 입력 시퀀스가 필요하고, 긴 예측 기간은 더 긴 시퀀스가 필요함을 시사하여, 예측 기간에 맞는 아키텍처 조정이 필요함을 보여준다.
• LSTM 유닛은 수익률 범위나 입력 특성에 따라 시간이 지남에 따라 지속적으로 동적으로 활성화/비활성화되며, 특정 기능에 특화된 특성을 보인다.
• LSTM-LagLasso 방법론은 기존의 전통적 지표 외에도 비표준 지표까지 관련성이 있음을 규명하였으며, 기존 표준 예측 모델에서 흔히 사용되지 않는 특성도 포함한다.
• 가장 관련성이 높은 지연은 t, t−1, t−5로 나타나 최근 및 略적 지연된 정보가 예측에 매우 중요함을 시사한다.
• LSTM의 내부 신호—특히 세포 상태와 은닉 상태—는 복잡하지만, 외부 거시경제 및 시장 변수로 설명 가능하여 모델의 블랙박스 성격이 감소한다.