[论文解读] Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture

Kieran Wood, Sven Giegerich+2 more|arXiv (Cornell University)|Dec 16, 2021

Stock Market Forecasting Methods被引用 11

一句话总结

该论文提出了一种基于动量的Transformer模型，一种注意力机制驱动的深度学习架构，在捕捉长期依赖关系和适应市场制度转换方面优于基于LSTM的模型，适用于时序动量交易。该模型结合了自注意力机制与LSTM组件，实现了净交易成本后的优异性能，并通过注意力头分析增强了可解释性。

ABSTRACT

We introduce the Momentum Transformer, an attention-based deep-learning architecture, which outperforms benchmark time-series momentum and mean-reversion trading strategies. Unlike state-of-the-art Long Short-Term Memory (LSTM) architectures, which are sequential in nature and tailored to local processing, an attention mechanism provides our architecture with a direct connection to all previous time-steps. Our architecture, an attention-LSTM hybrid, enables us to learn longer-term dependencies, improves performance when considering returns net of transaction costs and naturally adapts to new market regimes, such as during the SARS-CoV-2 crisis. Via the introduction of multiple attention heads, we can capture concurrent regimes, or temporal dynamics, which are occurring at different timescales. The Momentum Transformer is inherently interpretable, providing us with greater insights into our deep-learning momentum trading strategy, including the importance of different factors over time and the past time-steps which are of the greatest significance to the model.

研究动机与目标

• 开发一种深度学习架构，以在捕捉长期价格趋势和适应市场制度变化方面超越基于LSTM的深度动量网络（DMNs）。
• 通过揭示哪些过去的时间步长和市场因素对交易决策最具影响力，提升模型的可解释性。
• 在不同资产类别（尤其是商品、外汇、股票和固定收益）下，评估模型在不同交易成本制度下的表现。
• 研究注意力机制与在线变化点检测（CPD）之间的协同作用，以提升市场危机（如SARS-CoV-2崩盘）期间的鲁棒性。
• 证明注意力机制模型在净成本表现上可超越LSTM，尤其在商品和长期动量策略中表现更优。

提出的方法

• 动量Transformer采用混合架构，结合Transformer编码器与LSTM解码器，以同时利用全局注意力与序列处理能力。
• 采用多个缩放点积注意力头，以捕捉不同时间尺度下的并行动态，如快速均值回归与缓慢动量效应。
• 模型端到端训练，以优化交易信号的夏普比率，仅使用历史价格序列作为输入。
• 集成基于贝叶斯高斯过程的在线变化点检测（CPD）模块，用于检测制度转换，提升对市场断裂的响应能力。
• 通过注意力权重分析实现可解释性，揭示特定过去时间步长和市场制度的重要性。
• 采用1995年至2020年的回测，在多个资产类别上评估该架构，性能在不同交易成本（C = 0–3 bps）下进行衡量。

实验结果

研究问题

• RQ1 基于注意力机制的架构（如动量Transformer）是否能在交易成本存在的情况下，优于基于LSTM的DMNs，特别是在动量和均值回归策略中？
• RQ2 多头注意力机制如何使模型能够捕捉不同时间尺度下的并行动态？
• RQ3 在市场制度转换（如SARS-CoV-2危机期间）中，引入CPD模块在多大程度上提升了模型的鲁棒性？
• RQ4 通过注意力权重实现的模型可解释性，如何揭示特定历史时间步长和市场事件的重要性？
• RQ5 在多样化资产类别中，注意力-LSTM混合架构（如仅解码器的TFT）是否整体表现优于纯Transformer或Informer模型？

主要发现

• 动量Transformer在所有风险调整后绩效指标（包括夏普比率和净成本收益）上均显著优于基于LSTM的DMNs。
• 仅解码器的时序融合Transformer（TFT）在LSTM与注意力组件结合下，于1 bps交易成本时达到1.22的最高夏普比率，且在2 bps及以上成本下优于纯Transformer模型。
• 在2015–2020年仅交易25种商品期货时，该模型在3 bps交易成本下实现了1.23的组合夏普比率，展现出强劲的净成本表现。
• 在SARS-CoV-2市场崩盘期间，Transformer与Informer模型的表现优于TFT，表明其对突发制度变化具有更强的韧性。
• CPD模块对商品类别的影响最大，因时间精度至关重要，显著提升了模型对制度转换的响应能力。
• 模型的可解释性分析表明，注意力头能将时间序列划分为不同制度区间，并赋予重大历史事件（如市场崩盘）高度重要性。