[논문 리뷰] Making Good on LSTMs' Unfulfilled Promise

Daniel Philps, Artur d’Avila Garcez외 1명|arXiv (Cornell University)|2019. 11. 11.

Time Series Analysis and Forecasting참고 문헌 61인용 수 5

한 줄 요약

이 논문은 재무 시계열 예측을 위한 슽딩 윈도우 피드포워드 신경망(FFNN)과 LSTMs를 향상시키기 위해 메모리 증강 프레임워크인 지속적 학습 증강(CL A)을 제안한다. CLA는 유사도 기반 메모리 재구하기—특히 새로운 워프-AE 방법을 사용하며, 실제 신 emerging 시장 주식 투자에서 FFNN 기반 CLA가 LSTM과 CLA-LSTM을 모두 능가함을 입증한다. 이는 뛰어난 수익률과 해석 가능한 메모리 트레이스를 통해 가능하다.

ABSTRACT

LSTMs promise much to financial time-series analysis, temporal and cross-sectional inference, but we find that they do not deliver in a real-world financial management task. We examine an alternative called Continual Learning (CL), a memory-augmented approach, which can provide transparent explanations, i.e. which memory did what and when. This work has implications for many financial applications including credit, time-varying fairness in decision making and more. We make three important new observations. Firstly, as well as being more explainable, time-series CL approaches outperform LSTMs as well as a simple sliding window learner using feed-forward neural networks (FFNN). Secondly, we show that CL based on a sliding window learner (FFNN) is more effective than CL based on a sequential learner (LSTM). Thirdly, we examine how real-world, time-series noise impacts several similarity approaches used in CL memory addressing. We provide these insights using an approach called Continual Learning Augmentation (CLA) tested on a complex real-world problem, emerging market equities investment decision making. CLA provides a test-bed as it can be based on different types of time-series learners, allowing testing of LSTM and FFNN learners side by side. CLA is also used to test several distance approaches used in a memory recall-gate: Euclidean distance (ED), dynamic time warping (DTW), auto-encoders (AE) and a novel hybrid approach, warp-AE. We find that ED under-performs DTW and AE but warp-AE shows the best overall performance in a real-world financial task.

연구 동기 및 목표

• 재무 시계열 모델링에서 치명적인 잊음 문제를 해결하기 위해 해석 가능한 메모리를 갖춘 지속적 학습 프레임워크를 도입한다.
• 노이즈가 많은 실제 재무 환경에서 지속적 학습 하에 슬라이딩 윈도우(FFNN)와 순차적(LSTM) 학습기 간의 성능을 비교한다.
• 유클리드 거리, DTW, 오토인코더, 워프-AE와 같은 다양한 유사도 측정 방법이 메모리 재구하기와 모델 성능에 미치는 영향을 평가한다.
• CLA가 모델 결정에 기여한 메모리가 무엇인지 추적함으로써 투명하고 해석 가능한 의사결정을 가능하게 한다.

제안 방법

• 지속적 학습 증강(CL A)은 기본 학습기(FFNN 또는 LSTM)와 메모리 증강 아키텍처를 통합하여 치명적인 잊음 문제를 완화한다.
• CLA는 현재 입력과 유사도를 기반으로 이전 경험 중 관련된 것을 선택하는 메모리 재구기 게이트를 사용한다.
• 재구기 게이트는 네 가지 방법을 통해 유사도를 평가한다: 유클리드 거리(ED), 동적 시간 왜곡(DTW), 오토인코더(AE), 그리고 DTW와 AE를 융합한 새로운 하이브리드 워프-AE.
• 메모리는 맥락적 유사도에 기반해 저장되고 회수되며, 메모리 유지 및 회수 빈도를 제어하는 임계값 기반 메커니즘(jCrit)을 사용한다.
• 이 프레임워크는 순차적(LSTM)과 슬라이딩 윈도우(FFNN) 기반 학습기를 모두 지원하여 직접적인 성능 비교를 가능하게 한다.
• 해석 가능성은 어떤 메모리가 언제 회수되었는지 로깅함으로써 달성되며, 이는 모델 결정의 추적 가능한 기여 원인을 제공한다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 기반 FFNN 기반 CLA는 실제 재무 시계열 예측에서 LSTM 기반 CLA를 능가하는가?
• RQ2 시계열 노이즈는 다양한 유사도 측정 방법의 CL 메모리 재구하기 성능에 어떤 영향을 미치는가?
• RQ3 유클리드 거리(ED), DTW, AE, 또는 워프-AE 중 어느 유사도 측정 방법이 노이즈가 있는 재무 시계열 작업에서 가장 뛰어난 성능을 낼 수 있는가?
• RQ4 CLA는 메모리 기여를 추적함으로써 모델 결정에 대한 투명하고 해석 가능한 설명을 제공할 수 있는가?

주요 결과

• CLA-FFNN는 모든 테스트 모델 중에서 가장 높은 총 수익률(TR)을 기록했으며, 증강되지 않은 FFNN와 CLA-LSTM을 모두 능가했다.
• CLA-LSTM는 상대 수익률(RR)과 정보 비율 측면에서 증강 효과가 뛰어나지만, CLA-FFNN에 비해 절대 수익률이 낮았다.
• 유클리드 거리(ED)는 TR과 증강 효과 측면에서 DTW와 오토인코더(AE) 유사도보다 열등했으며, 시간 왜곡에 민감함을 보였다.
• 오토인코더(AE) 유사도는 FFNN 및 LSTM 학습기 모두에서 5% 수준에서 통계적으로 유의미한 증강 효과를 보였다.
• 하이브리드 워프-AE 유사도 방법은 가장 높은 RR와 정보 비율을 기록하여 노이즈에 강인하고 메모리 효율성을 가장 잘 균형 잡은 것으로 나타났다.
• 해석 가능한 메모리 트레이스는 2007년과 2008년의 몇몇 핵심 메모리만이 여러 차례 재구기되었으며, 특히 시장 위기 기간 동안 강력한 영향을 미쳤음을 확인했으며, 이는 모델의 투명성을 뒷받침한다.