[논문 리뷰] Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture

Kieran Wood, Sven Giegerich외 2명|arXiv (Cornell University)|2021. 12. 16.

Stock Market Forecasting Methods인용 수 11

한 줄 요약

이 논문은 장기적 종속성과 시장 제도 전환에 적응하는 능력을 갖춘 어텐션 기반 딥러닝 아키텍처인 Momentum Transformer를 제안한다. 이는 시장 제도 변화에 대응하고 거래비용을 고려한 성능를 뛰어나게 했으며, 어텐션 헤드 분석을 통해 해석 가능성을 향상시켰다.

ABSTRACT

We introduce the Momentum Transformer, an attention-based deep-learning architecture, which outperforms benchmark time-series momentum and mean-reversion trading strategies. Unlike state-of-the-art Long Short-Term Memory (LSTM) architectures, which are sequential in nature and tailored to local processing, an attention mechanism provides our architecture with a direct connection to all previous time-steps. Our architecture, an attention-LSTM hybrid, enables us to learn longer-term dependencies, improves performance when considering returns net of transaction costs and naturally adapts to new market regimes, such as during the SARS-CoV-2 crisis. Via the introduction of multiple attention heads, we can capture concurrent regimes, or temporal dynamics, which are occurring at different timescales. The Momentum Transformer is inherently interpretable, providing us with greater insights into our deep-learning momentum trading strategy, including the importance of different factors over time and the past time-steps which are of the greatest significance to the model.

연구 동기 및 목표

• 장기적 가격 추세를 포착하고 시장 제도 변화에 적응하는 데 있어 LSTM 기반 딥 모멘텀 네트워크(DMNs)를 초월하는 딥러닝 아키텍처를 개발하는 것.
• 특정 과거 시점과 시장 요인이 거래 결정에 가장 영향을 주는지 파악할 수 있도록 모델의 해석 가능성을 향상시키는 것.
• 다양한 자산 클래스—특히 상품, FX, 주식 및 채권—에서 다양한 거래비용 제도 하에서 성능를 평가하는 것.
• 어텐션 메커니즘과 온라인 변화점 탐지(CPD) 간의 상호보완성을 시험하여, SARS-CoV-2 충격과 같은 급격한 시장 위기 상황에서도 강건성을 확보하는 것.
• 어텐션 기반 모델이 특히 상품과 장기 허브 모멘텀 전략에서 거래비용을 고려한 성과에서 LSTMs를 능가할 수 있음을 입증하는 것.

제안 방법

• Momentum Transformer는 전역 어텐션과 순차적 처리를 동시에 활용하기 위해 트랜스포머 인코더와 LSTM 디코더를 조합한 하이브리드 아키텍처를 사용한다.
• 다양한 시간스케일에서 동시적인 동적 특성을 포착하기 위해 다중 스케일드-닷 어텐션 헤드를 활용한다. 예를 들어, 빠른 평균회귀와 느린 모멘텀을 포함한다.
• 모델은 역사적 가격 시리즈만을 입력으로 사용하여 종합적인 거래 신호의 샤프 레이션을 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 시장 제도 변화를 탐지하고 시장 끊김에 대한 반응성을 향상시키기 위해 베이지안 가우시안 프로세스 기반의 온라인 변화점 탐지(CPD) 모듈을 통합한다.
• 해석 가능성은 어텐션 가중치 분석을 통해 달성되며, 이는 특정 과거 시점과 시장 제도가 거래 결정에 얼마나 중요한지 밝힌다.
• 1995년부터 2020년까지의 백테스트를 통해 다양한 자산 클래스에서 성능를 평가하였으며, 거래비용(C = 0–3 bps)에 따라 성과를 측정하였다.

실험 결과

연구 질문

• RQ1 Momentum Transformer와 같은 어텐션 기반 아키텍처가 거래비용을 고려할 때, 특히 장기 모멘텀 및 평균회귀 거래 전략에서 LSTM 기반 DMNs를 능가할 수 있는가?
• RQ2 다중 어텐션 헤드의 통합이 다양한 시간스케일에서 동시적인 동적 특성을 포착하는 데 어떻게 기여하는가?
• RQ3 CPD 모듈의 통합이 SARS-CoV-2 위기와 같은 시장 제도 변화 상황에서 모델의 강건성을 얼마나 향상시키는가?
• RQ4 어텐션 가중치를 통한 모델의 해석 가능성은 특정 과거 시점과 시장 이벤트의 중요성을 어떻게 드러내는가?
• RQ5 어텐션과 LSTM을 조합한 하이브리드 아키텍처(예: 디코더 전용 TFT)가 순수 트랜스포머나 인포머 모델보다 다양한 자산 클래스에서 더 뛰어난 종합 성능을 달성하는가?

주요 결과

• Momentum Transformer는 모든 리스크 조정 성과 지표에서 LSTM 기반 DMNs를 뚜렷이 앞서며, 샤프 레이션과 거래비용을 고려한 수익률을 포함한다.
• 디코더 전용 일체형 퍼지션 트랜스포머(TFT)는 LSTM과 어텐션 구성 요소를 포함하여 1 bps 거래비용에서 최고의 샤프 레이션 1.22를 기록했으며, 2 bps 이상에서는 순수 트랜스포머를 능가했다.
• 2015–2020년 동안 단 25개의 상품 선물만 거래할 경우, 3 bps 거래비용에서 포트폴리오 샤프 레이션 1.23을 기록하여 강력한 거래비용 고려 성과를 보였다.
• SARS-CoV-2 시장 폭락 기간 동안 트랜스포머와 인포머 모델이 TFT를 능가하여 급격한 제도 변화에 대한 뛰어난 내성성을 보였다.
• CPD 모듈은 상품에서 가장 큰 성과 영향을 미쳤으며, 정밀한 타이밍이 중요한 상황에서 제도 변화에 대한 반응성을 향상시켰다.
• 모델의 해석 가능성은 어텐션 헤드가 시계열을 구분된 제도로 분할하고, 시장 폭락과 같은 중요한 역사적 사건에 높은 중요도를 할당함을 드러냈다.