[論文レビュー] Long short-term memory networks and laglasso for bond yield forecasting: Peeping inside the black box

Manuel Nunes, Enrico Gerding+2 more|arXiv (Cornell University)|Jan 1, 2020

Stock Market Forecasting Methods参考文献 53被引用数 1

ひとこと要約

本稿では、長短期記憶ネットワークと内部意思決定の解釈を可能にするために、10年国債利回りを予測するための新しいLSTM-LagLasso手法を提案する。単変量LSTMは記憶機能を備えることで、記憶なしの多層パーセプトロンを上回る性能を示し、LSTMユニットが利回りの範囲や特徴に基づいて動的に活性化・非活性化されることを明らかにした。LSTM-LagLassoフレームワークにより、外部のマクロ経済変数や市場変数がその信号を説明可能であることが示された。

ABSTRACT

Modern decision-making in fixed income asset management benefits from intelligent systems, which involve the use of state-of-the-art machine learning models and appropriate methodologies. We conduct the first study of bond yield forecasting using long short-term memory (LSTM) networks, validating its potential and identifying its memory advantage. Specifically, we model the 10-year bond yield using univariate LSTMs with three input sequences and five forecasting horizons. We compare those with multilayer perceptrons (MLP), univariate and with the most relevant features. To demystify the notion of black box associated with LSTMs, we conduct the first internal study of the model. To this end, we calculate the LSTM signals through time, at selected locations in the memory cell, using sequence-to-sequence architectures, uni and multivariate. We then proceed to explain the states' signals using exogenous information, for what we develop the LSTM-LagLasso methodology. The results show that the univariate LSTM model with additional memory is capable of achieving similar results as the multivariate MLP using macroeconomic and market information. Furthermore, shorter forecasting horizons require smaller input sequences and vice-versa. The most remarkable property found consistently in the LSTM signals, is the activation/deactivation of units through time, and the specialisation of units by yield range or feature. Those signals are complex but can be explained by exogenous variables. Additionally, some of the relevant features identified via LSTM-LagLasso are not commonly used in forecasting models. In conclusion, our work validates the potential of LSTMs and methodologies for bonds, providing additional tools for financial practitioners.

研究の動機と目的

• 10年国債利回りの予測性能について、記憶なしのモデル（多層パーセプトロンなど）と比較してLSTMネットワークの性能を評価すること。
• 記憶セルと隠れ状態の時間的変化を分析することで、LSTMのブラックボックス性を解明すること。
• LSTM予測に影響を与える外部要因とその時間遅れを同定する新しい解釈可能性手法LSTM-LagLassoの開発および検証すること。
• 従来の債券利回り予測モデルで一般的に使われない、非伝統的だが予測に有効なマクロ経済および市場指標を同定すること。

提案手法

• 解釈可能性を高めるために、3つの隠れユニットを備えた単変量および多変量のシーケンス・ツー・シーケンスLSTMアーキテクチャを採用。10年利回りおよび追加の特徴量を用いて学習。
• 特定の記憶セル位置における主要なLSTM部品（忘却ゲート、入力ゲート、セル状態、隠れ状態、出力ゲート）から時間系列信号を抽出・分析。
• LSTM-LagLasso—Lassoとカルマン・ラグ・ラッソのハイブリッド手法—を導入。遅延付きの外部変数を用いてLSTM内部状態を説明し、関連する特徴量と遅れを同定。
• マクロ経済および市場データを用いてLSTM-LagLasso手法を適用し、外部変数がモデル行動にどのように影響しているかを同定。
• 解釈可能性を向上させるために、3つの隠れユニットという簡略化されたアーキテクチャと、1～5日という短い予測期間を採用。これにより信号のダイナミクスを追跡可能に。
• 多層パーセプトロンとの比較を実施し、複数の入力シーケンスおよび予測期間における性能を評価。

実験結果

リサーチクエスチョン

• RQ1 記憶機能を備えた単変量LSTMは、記憶なしの多層パーセプトロンと比較して、10年国債利回りの予測性能を上回るか？
• RQ2 LSTM内部状態（特にセル状態や隠れ状態）は時間経過とともにどのように変化するか。また、そのダイナミクスは外部の経済的・市場的要因によって説明可能か？
• RQ3 債券利回り予測のためのLSTMモデル内部信号を説明するために、どの特徴量と時間遅れが最も関連性があるか？
• RQ4 従来の予測モデルで一般的に使われない非伝統的またはあまり使われない特徴量が、LSTMベースの利回り予測に顕著に寄与するか？
• RQ5 LSTM-LagLasso手法は、外部変数と内部LSTM状態との間に意味のある、解釈可能な関係をどの程度特定できるか？

主な発見

• 追加の記憶機能を備えた単変量LSTMモデルは、マクロ経済および市場データを用いた多変量MLPと同等の予測性能を達成した。
• 短い予測期間では短い入力シーケンスが、長い予測期間では長いシーケンスが必要であることが示され、アーキテクチャを予測期間に合わせて調整する必要があることが明らかになった。
• LSTMユニットは時間経過とともに一貫して動的かつ特徴に応じた活性化・非活性化を示し、利回りの範囲や入力特徴に応じた特化が見られた。
• LSTM-LagLasso手法により、従来のものだけでなく、標準的な予測モデルで使われない特徴量も関連性があると同定した。
• 最も関連性の高い遅れはt、t−1、およびt−5であり、最近の情報とわずかに遅れた情報が予測に重要であることが示された。
• LSTM内部信号、特にセル状態と隠れ状態は複雑ではあるが、外部のマクロ経済および市場変数によって説明可能であり、モデルのブラックボックス性が低減された。