[论文解读] Making Good on LSTMs' Unfulfilled Promise

Daniel Philps, Artur d’Avila Garcez+1 more|arXiv (Cornell University)|Nov 11, 2019

Time Series Analysis and Forecasting参考文献 61被引用 5

一句话总结

本文提出持续学习增强（Continual Learning Augmentation, CLA），一种基于记忆的增强框架，用于提升滑动窗口前馈神经网络（FFNN）和长短期记忆网络（LSTM）在金融时间序列预测中的性能。CLA采用基于相似性的记忆召回机制，特别是提出了一种新型的warp-AE方法，实证表明基于FFNN的CLA在真实新兴市场权益投资中优于LSTM与CLA-LSTM，展现出更优的收益表现与可解释性，其决策过程可通过可解释的记忆轨迹进行追溯。

ABSTRACT

LSTMs promise much to financial time-series analysis, temporal and cross-sectional inference, but we find that they do not deliver in a real-world financial management task. We examine an alternative called Continual Learning (CL), a memory-augmented approach, which can provide transparent explanations, i.e. which memory did what and when. This work has implications for many financial applications including credit, time-varying fairness in decision making and more. We make three important new observations. Firstly, as well as being more explainable, time-series CL approaches outperform LSTMs as well as a simple sliding window learner using feed-forward neural networks (FFNN). Secondly, we show that CL based on a sliding window learner (FFNN) is more effective than CL based on a sequential learner (LSTM). Thirdly, we examine how real-world, time-series noise impacts several similarity approaches used in CL memory addressing. We provide these insights using an approach called Continual Learning Augmentation (CLA) tested on a complex real-world problem, emerging market equities investment decision making. CLA provides a test-bed as it can be based on different types of time-series learners, allowing testing of LSTM and FFNN learners side by side. CLA is also used to test several distance approaches used in a memory recall-gate: Euclidean distance (ED), dynamic time warping (DTW), auto-encoders (AE) and a novel hybrid approach, warp-AE. We find that ED under-performs DTW and AE but warp-AE shows the best overall performance in a real-world financial task.

研究动机与目标

• 为解决金融时间序列建模中的灾难性遗忘问题，提出一种具备可解释记忆的持续学习框架。
• 在噪声较大、真实的金融环境中，比较滑动窗口（FFNN）与序列（LSTM）学习器在持续学习下的性能表现。
• 评估不同相似性度量方法——欧氏距离（Euclidean distance）、动态时间规整（DTW）、自编码器（auto-encoders）以及warp-AE——对记忆召回与模型性能的影响。
• 证明CLA可通过追溯哪些记忆参与了哪些预测，实现透明、可解释的决策过程。

提出的方法

• 持续学习增强（CLA）将记忆增强架构与基础学习器（FFNN或LSTM）结合，以缓解灾难性遗忘。
• CLA通过记忆召回门机制，基于当前输入与过往经验的相似性，选择相关记忆，使用距离度量进行评估。
• 召回门采用四种相似性度量方法：欧氏距离（ED）、动态时间规整（DTW）、自编码器（AE），以及一种新型混合warp-AE方法，结合DTW与AE的优势。
• 记忆根据上下文相似性进行存储与召回，采用基于阈值的机制（jCrit）控制记忆的保留与召回频率。
• 该框架支持序列（LSTM）与滑动窗口（FFNN）两种基础学习器，实现性能的直接对比。
• 通过记录哪些记忆被召回及其时间点，实现可解释性，支持对模型决策的可追溯归因。

实验结果

研究问题

• RQ1 基于滑动窗口的FFNN-CLA在真实金融时间序列预测中是否优于基于LSTM的CLA？
• RQ2 时间序列噪声如何影响不同相似性度量在CL记忆召回中的性能表现？
• RQ3 在噪声较大的金融时间序列任务中，哪种相似性度量——ED、DTW、AE或warp-AE——能取得最佳性能？
• RQ4 CLA能否通过追溯记忆贡献，提供透明、可解释的模型决策说明？

主要发现

• CLA-FFNN在所有测试模型中实现了最高的总收益（TR），优于未经增强的FFNN与CLA-LSTM。
• CLA-LSTM在相对收益（RR）与信息比率方面表现出更优的增强效益，尽管其绝对TR低于CLA-FFNN。
• 欧氏距离（ED）在TR与增强效益方面均表现逊于DTW与自编码器（AE）相似性度量，表明其对时间偏移敏感。
• 自编码器（AE）相似性在FFNN与LSTM学习器上均实现了统计显著的增强效益（p < 0.05）。
• 混合warp-AE相似性方法在相对收益与信息比率上均达到最高，表明其最有效地平衡了对噪声的鲁棒性与记忆效率。
• 可解释的记忆轨迹显示，仅有少数关键记忆（如2007年与2008年）被多次召回，且在市场危机期间产生显著影响，验证了模型的透明性。