[論文レビュー] Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture

Kieran Wood, Sven Giegerich+2 more|arXiv (Cornell University)|Dec 16, 2021

Stock Market Forecasting Methods被引用数 11

ひとこと要約

本稿では、長期的相関関係を捉え、市場の制度的転換に適応できるアテンションベースの深層学習アーキテクチャ「Momentum Transformer」を提案する。LSTMベースのモデルを上回る性能を示し、取引コストを差し引いた性能と、アテンションヘッド解析による解釈可能性の両方を向上させる。

ABSTRACT

We introduce the Momentum Transformer, an attention-based deep-learning architecture, which outperforms benchmark time-series momentum and mean-reversion trading strategies. Unlike state-of-the-art Long Short-Term Memory (LSTM) architectures, which are sequential in nature and tailored to local processing, an attention mechanism provides our architecture with a direct connection to all previous time-steps. Our architecture, an attention-LSTM hybrid, enables us to learn longer-term dependencies, improves performance when considering returns net of transaction costs and naturally adapts to new market regimes, such as during the SARS-CoV-2 crisis. Via the introduction of multiple attention heads, we can capture concurrent regimes, or temporal dynamics, which are occurring at different timescales. The Momentum Transformer is inherently interpretable, providing us with greater insights into our deep-learning momentum trading strategy, including the importance of different factors over time and the past time-steps which are of the greatest significance to the model.

研究の動機と目的

• 長期的な価格トレンドを捉え、市場の制度的変化に適応できるLSTMベースの深層モーメンタムネットワーク（DMN）を改善する深層学習アーキテクチャの開発。
• 特定の過去の時系列ステップや市場要因が取引意思決定にどの程度影響を与えているかを明らかにすることで、モデルの解釈可能性を向上させる。
• 特に商品、外国為替、株式、債券の多様な資産クラスにおいて、さまざまな取引コスト制度下でパフォーマンスを評価すること。
• アテンション機構とオンライン変化点検出（CPD）の相乗効果が、SARS-CoV-2パンデミックのような市場危機期のロバストネスに与える影響を調査すること。
• アテンションベースのモデルが、特に商品や長期投資ヘッジ戦略において、コスト差し引いたパフォーマンスでLSTMを上回ることを実証すること。

提案手法

• Momentum Transformerは、グローバルアテンションと順序処理の両方の利点を活かすために、TransformerエンコーダとLSTMデコーダを組み合わせたハイブリッドアーキテクチャを採用する。
• 複数のスケーリングドット積分アテンションヘッドを用いて、速やかな均等化と遅いモーメンタムといった、異なる時間スケールでの同時動的変化を捉える。
• モデルは、歴史的価格系列のみを入力として、トレーディングシグナルのシャープレシオを最適化するようにエンドツーエンドで訓練される。
• 市場の制度的転換を検出するため、ベイジアンガウス過程に基づくオンライン変化点検出（CPD）モジュールを統合し、市場の変動への対応性を向上させる。
• アテンション重みの分析により解釈可能性を実現し、特定の過去の時系列ステップや市場制度が取引意思決定にどの程度重要であるかを明らかにする。
• バックテストは1995年から2020年までの期間にわたり、複数の資産クラスで実施され、取引コスト（C = 0–3 bps）の変動に応じたパフォーマンスが測定される。

実験結果

リサーチクエスチョン

• RQ1 Momentum Transformerのようなアテンションベースのアーキテクチャは、取引コストを差し引いた状況でも、LSTMベースのDMNを上回る性能を示せるか、特にモーメンタム取引や均等化取引戦略において。
• RQ2 複数のアテンションヘッドの統合により、モデルはどのように異なる時間スケールでの同時動的変化を捉えられるか。
• RQ3 CPDモジュールの導入が、SARS-CoV-2パンデミック期のような市場制度的転換期におけるロバストネスをどの程度向上させるか。
• RQ4 アテンション重みによるモデルの解釈可能性は、特定の歴史的時系列ステップや市場出来事の重要性をどのように明らかにするか。
• RQ5 アテンションとLSTMを組み合わせたハイブリッドアーキテクチャ（例：デコーダー専用TFT）は、純粋なTransformerやInformerモデルに比べ、多様な資産クラスにおいてより優れた総合的パフォーマンスを達成するか。

主な発見

• Momentum Transformerは、シャープレシオやコスト差し引いたリターンといった、あらゆるリスク調整パフォーマンス指標において、LSTMベースのDMNを顕著に上回る。
• LSTMとアテンションを組み合わせたデコーダー専用TFTは、1 bpsの取引コスト下で1.22の最高シャープレシオを達成し、2 bpsから先では純粋なTransformerを上回った。
• 2015年から2020年の間、25商品先物に限定して取引した場合、3 bpsの取引コスト下でポートフォリオのシャープレシオが1.23に達し、コスト差し引いたパフォーマンスが強く示された。
• SARS-CoV-2市場崩壊期には、TransformerとInformerモデルがTFTを上回り、急激な制度的変化への強いレジリエンスを示した。
• CPDモジュールの効果は、タイミングの正確さが重要な商品市場で最大であり、制度的転換へのモデルの対応性を向上させた。
• モデルの解釈可能性は、アテンションヘッドが時系列を明確な制度に分割し、市場崩壊のような重要な歴史的出来事に高い重要性を割り当てていることを明らかにした。