[论文解读] Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box

Manuel Nunes, Enrico Gerding+2 more|arXiv (Cornell University)|Jan 1, 2020

Stock Market Forecasting Methods参考文献 53被引用 1

一句话总结

本文提出了一种新颖的LSTM-LagLasso方法，用于利用长短期记忆网络预测10年期政府债券收益率，并解释其内部决策机制。结果表明，带有记忆的单变量LSTM优于无记忆的多层感知机，且LSTM单元会根据收益率区间和特征动态激活/抑制，其信号可通过新的LSTM-LagLasso框架，由外生宏观经济和市场变量进行解释。

ABSTRACT

Modern decision-making in fixed income asset management benefits from intelligent systems, which involve the use of state-of-the-art machine learning models and appropriate methodologies. We conduct the first study of bond yield forecasting using long short-term memory (LSTM) networks, validating its potential and identifying its memory advantage. Specifically, we model the 10-year bond yield using univariate LSTMs with three input sequences and five forecasting horizons. We compare those with multilayer perceptrons (MLP), univariate and with the most relevant features. To demystify the notion of black box associated with LSTMs, we conduct the first internal study of the model. To this end, we calculate the LSTM signals through time, at selected locations in the memory cell, using sequence-to-sequence architectures, uni and multivariate. We then proceed to explain the states' signals using exogenous information, for what we develop the LSTM-LagLasso methodology. The results show that the univariate LSTM model with additional memory is capable of achieving similar results as the multivariate MLP using macroeconomic and market information. Furthermore, shorter forecasting horizons require smaller input sequences and vice-versa. The most remarkable property found consistently in the LSTM signals, is the activation/deactivation of units through time, and the specialisation of units by yield range or feature. Those signals are complex but can be explained by exogenous variables. Additionally, some of the relevant features identified via LSTM-LagLasso are not commonly used in forecasting models. In conclusion, our work validates the potential of LSTMs and methodologies for bonds, providing additional tools for financial practitioners.

研究动机与目标

• 评估LSTM网络在10年期政府债券收益率预测中的表现，与无记忆模型（如多层感知机）进行比较。
• 通过分析记忆单元和隐藏状态随时间的内部信号，揭示LSTM黑箱性质的内在机制。
• 开发并验证一种新型可解释性方法LSTM-LagLasso，识别影响LSTM预测的外部特征及其时间滞后。
• 识别出非传统但具有预测能力的宏观经济与市场指标，这些指标在传统债券收益率预测模型中不常被使用。

提出的方法

• 采用具有3个隐藏单元的单变量和多变量序列到序列LSTM架构，以增强可解释性，训练数据包括10年期收益率及其他附加特征。
• 提取并分析关键LSTM组件中的时间序列信号：选定记忆单元位置的遗忘门、输入门、细胞状态、隐藏状态和输出门。
• 提出LSTM-LagLasso——一种Lasso与卡尔曼滞后Lasso的混合方法，利用滞后外生变量解释LSTM内部状态，识别相关特征与滞后。
• 将LSTM-LagLasso方法应用于解释LSTM信号，利用宏观经济与市场数据，识别影响模型行为的外部变量。
• 采用简化架构（3个隐藏单元）和短期预测范围（1–5天），以增强可解释性并追踪信号动态。
• 将结果与多层感知机进行对比验证，并在多种输入序列和预测时间范围下评估性能。

实验结果

研究问题

• RQ1 带有记忆的单变量LSTM是否能在10年期政府债券收益率预测中超越无记忆模型（如多层感知机）？
• RQ2 LSTM内部状态（如细胞状态和隐藏状态）如何随时间演变？这些动态是否可由外部经济或市场变量解释？
• RQ3 在债券收益率预测的LSTM模型内部信号解释中，哪些特征和时间滞后最为相关？
• RQ4 是否存在非传统或较少使用的特征，对基于LSTM的收益率预测具有显著贡献？
• RQ5 LSTM-LagLasso方法在多大程度上能识别出外部变量与LSTM内部状态之间有意义且可解释的关系？

主要发现

• 带有额外记忆的单变量LSTM模型在预测性能上与使用宏观经济和市场数据的多变量MLP相当。
• 较短的预测范围需要更短的输入序列，而较长的预测范围则需要更大的序列，表明需根据预测时间框架调整模型架构。
• LSTM单元在时间上持续表现出动态激活与抑制，其功能根据收益率区间或输入特征呈现专业化特征。
• LSTM-LagLasso方法识别出传统与非传统特征均为相关因素，包括在标准预测模型中不常使用的特征。
• 识别出的最重要滞后为t、t−1和t−5，表明近期及稍延迟的信息对预测至关重要。
• LSTM内部信号（尤其是细胞状态和隐藏状态）虽复杂，但可由外生宏观经济与市场变量解释，从而降低了模型的黑箱特性。