[論文レビュー] Making Good on LSTMs' Unfulfilled Promise

Daniel Philps, Artur d’Avila Garcez+1 more|arXiv (Cornell University)|Nov 11, 2019

Time Series Analysis and Forecasting参考文献 61被引用数 5

ひとこと要約

本稿では、金融時系列予測のための継続的学習拡張（CLA）を提案する。CLAは、メモリ拡張型アーキテクチャを用いて、スライディングウィンドウ型フィードフォワードニューラルネットワーク（FFNN）およびLSTMの災害的忘却を軽減する。CLAは類似度ベースのメモリリコールを採用し、特に新規のワープ-AE手法を用いる。実世界の新興市場株式投資において、FFNNベースのCLAがLSTMおよびCLA-LSTMを上回る性能を示し、解釈可能なメモリトレースによる説明可能性と優れたリターンを達成した。

ABSTRACT

LSTMs promise much to financial time-series analysis, temporal and cross-sectional inference, but we find that they do not deliver in a real-world financial management task. We examine an alternative called Continual Learning (CL), a memory-augmented approach, which can provide transparent explanations, i.e. which memory did what and when. This work has implications for many financial applications including credit, time-varying fairness in decision making and more. We make three important new observations. Firstly, as well as being more explainable, time-series CL approaches outperform LSTMs as well as a simple sliding window learner using feed-forward neural networks (FFNN). Secondly, we show that CL based on a sliding window learner (FFNN) is more effective than CL based on a sequential learner (LSTM). Thirdly, we examine how real-world, time-series noise impacts several similarity approaches used in CL memory addressing. We provide these insights using an approach called Continual Learning Augmentation (CLA) tested on a complex real-world problem, emerging market equities investment decision making. CLA provides a test-bed as it can be based on different types of time-series learners, allowing testing of LSTM and FFNN learners side by side. CLA is also used to test several distance approaches used in a memory recall-gate: Euclidean distance (ED), dynamic time warping (DTW), auto-encoders (AE) and a novel hybrid approach, warp-AE. We find that ED under-performs DTW and AE but warp-AE shows the best overall performance in a real-world financial task.

研究の動機と目的

• 災害的忘却を解消する継続的学習フレームワークを提示し、解釈可能なメモリを備えることにより、金融時系列モデリングにおける性能を向上させること。
• ノイズが多い実世界の金融環境下で、スライディングウィンドウ型（FFNN）と順序型（LSTM）の学習者を継続的学習の下で比較すること。
• ユークリッド距離、DTW、自己符号化器、およびワープ-AEといった異なる類似度測定法が、メモリリコールおよびモデル性能に与える影響を評価すること。
• CLAが、どのメモリがどの予測に寄与したかをトレースすることで、透明で解釈可能な意思決定を可能にすることを実証すること。

提案手法

• 継続的学習拡張（CLA）は、ベース学習者（FFNN または LSTM）とメモリ拡張型アーキテクチャを統合し、災害的忘却を緩和する。
• CLAは、現在の入力と類似する過去の経験を類似度に基づいて選択するメモリリコールゲートを採用する。
• リコールゲートは、4つの方法で類似度を評価する：ユークリッド距離（ED）、動的時間ワープ（DTW）、自己符号化器（AE）、およびDTWとAEを統合した新規のハイブリッドワープ-AE。
• 文脈的類似度に基づきメモリを保存・リコールし、メモリ保持およびリコール頻度を制御するしきい値ベースのメカニズム（jCrit）を採用する。
• フレームワークは、順序型（LSTM）およびスライディングウィンドウ型（FFNN）の両方のベース学習者をサポートしており、直接的な性能比較を可能にする。
• 意思決定のトレーサビリティを実現するため、どのメモリがいつリコールされたかをログに記録することで、解釈可能性を達成する。

実験結果

リサーチクエスチョン

• RQ1 実世界の金融時系列予測において、スライディングウィンドウ型FFNNベースのCLAは、LSTMベースのCLAを上回る性能を示すか？
• RQ2 時系列ノイズは、異なる類似度測定法がCLAメモリリコールに与える影響にどのように作用するか？
• RQ3 ユークリッド距離（ED）、DTW、AE、ワープ-AEの中で、どれがノイズが多い金融時系列タスクにおいて最も優れた性能を発揮するか？
• RQ4 CLAは、メモリ寄与要因をトレースすることで、透明で解釈可能なモデル意思決定の説明を提供できるか？

主な発見

• CLA-FFNNは、全テストモデルの中で最高の累積リターン（TR）を達成し、アンオーギュメントされたFFNNおよびCLA-LSTMを上回った。
• CLA-LSTMは、相対的リターン（RR）およびインフォーメーション・レシオの観点で、より顕著な拡張効果を示したが、CLAF-FFNNに比べて絶対的TRは低かった。
• ユークリッド距離（ED）は、TRおよび拡張効果の両面でDTWおよび自己符号化器（AE）類似度に劣り、時間変形に敏感であることが示された。
• 自己符号化器（AE）類似度は、FFNNおよびLSTM学習者の両方で、5%水準で統計的に有意な拡張効果を示した。
• ハイブリッドワープ-AE類似度は、最高のRRおよびインフォーメーション・レシオを達成し、ノイズに強い性能とメモリ効率の両立を最もよく実現した。
• 解釈可能なメモリトレースは、2007年および2008年ごろのメモリが複数回リコールされ、市場危機時において強い影響を及ぼしていることを明らかにした。これは、モデルの透明性を裏付けるものであった。