[論文レビュー] QADQN: Quantum Attention Deep Q-Network for Financial Market Prediction

Siddhant Dutta, Nouhaila Innan+3 more|arXiv (Cornell University)|Aug 6, 2024

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿では、量子アテンション機構を用いて変分量子回路とディープQネットワークを統合することで、金融市場予測を向上させる量子古典ハイブリッド強化学習フレームワークQADQNを提案する。取引コストを考慮したS&P 500データにおいて、非重複および重複テスト期間でそれぞれ1.28および1.19のSortino比を達成し、Buy & HoldおよびDDPGベースラインを上回る優れたリスク調整リターンを実現した。

ABSTRACT

Financial market prediction and optimal trading strategy development remain challenging due to market complexity and volatility. Our research in quantum finance and reinforcement learning for decision-making demonstrates the approach of quantum-classical hybrid algorithms to tackling real-world financial challenges. In this respect, we corroborate the concept with rigorous backtesting and validate the framework's performance under realistic market conditions, by including fixed transaction cost per trade. This paper introduces a Quantum Attention Deep Q-Network (QADQN) approach to address these challenges through quantum-enhanced reinforcement learning. Our QADQN architecture uses a variational quantum circuit inside a traditional deep Q-learning framework to take advantage of possible quantum advantages in decision-making. We gauge the QADQN agent's performance on historical data from major market indices, including the S&P 500. We evaluate the agent's learning process by examining its reward accumulation and the effectiveness of its experience replay mechanism. Our empirical results demonstrate the QADQN's superior performance, achieving better risk-adjusted returns with Sortino ratios of 1.28 and 1.19 for non-overlapping and overlapping test periods respectively, indicating effective downside risk management.

研究の動機と目的

• 高次元的でノイズが多く、非定常な市場データのための古典的ディープ強化学習の限界を解消すること。
• 変分量子回路をディープQ学習フレームワークに統合することで、量子コンputィングの利点を活用し、意思決定を強化すること。
• 古典的アテンションをマルチヘッド量子アテンション層に置き換えることで、金融時系列モデリングにおけるアテンション機構を改善すること。
• 固定取引コストと部分観測性（POMDP設定による）を含む現実の市場条件において、フレームワークの有効性を検証すること。
• Buy & Hold や DDPG といった確立されたベンチマークと比較して、優れたリスク調整パフォーマンスを示すことを示すこと。

提案手法

• 量子強化特徴表現と意思決定を可能にするために、ディープQネットワーク内に変分量子回路（VQC）を統合する。
• 古典的マルチヘッドアテンションを量子アテンションメカニズムに置き換えることで、関連する市場特徴への注目を高め、計算オーバーヘッドを低減する。
• 部分観測性を持つ金融市場の性質をモデル化するため、POMDPフレームワークを採用し、不確実性下での頑健性を向上させる。
• 訓練中の探索と活用のバランスを取るために、リプレイバッファをデュアルスラスト戦略からの行動で事前充填する模倣学習を適用する。
• 学習の安定化とサンプル効率の向上を図るため、標準的および優先順位付き経験再生を併用する。
• 0.2%の手数料率を設定したバックテストを実施し、シャープ比、Sortino比、最大下落率の指標を用いてパフォーマンスを評価する。

Figure 1: QADQN Agent Architecture: The architecture begins with an LSTM network, which processes the input features along with the previous hidden and cell states $(h(t-1),c(t-1))$ to produce the current hidden and cell states $(h(t),c(t))$ . The output of the LSTM is then passed through a pre-net

実験結果

リサーチクエスチョン

• RQ1 量子アテンションを備えた量子強化ディープQネットワークは、古典的ベースラインと比較して、金融市場予測および取引パフォーマンスを向上させることができるか？
• RQ2 変分量子回路をディープQ学習フレームワークに統合することで、金融時系列における学習安定性と収束性にどのような影響を与えるか？
• RQ3 高次元的金融データにおける関連する時間的・市場的特徴を捉える際、量子アテンションは古典的アテンションをどの程度上回るか？
• RQ4 取引コストと部分観測性を含む現実の市場条件において、QADQNフレームワークのパフォーマンスはいかがなっているか？
• RQ5 模倣学習と量子アテンションの組み合わせは、金融取引エージェントにおける探索と活用のバランスを改善できるか？

主な発見

• QADQNフレームワークは、非重複テスト期間で71.26%の累積リターンを達成し、Buy & Hold戦略（44.22%）およびDDPG（15.94%）を著しく上回った。
• モデルは、非重複期間で1.28のSortino比を示し、下振れリスクの効果的な管理を示した。
• 非重複期間で0.77、重複期間で0.82のシャープ比は、市場状況にかかわらず一貫したリスク調整リターンを示している。
• 両テスト期間で最大下落率が常に19.24%であったため、市場下落時における損失制御の優れた性能が確認された。
• リターン、シャープ比、Sortino比のすべての主要指標において、QADQNモデルはBuy & HoldおよびDDPGベースラインを上回った。
• 可視化分析により、エージェントが低い価格帯で買い、高い価格帯で売却する能力を学習していることが確認され、トレンドの効果的な活用が示された。

Figure 2: Quantum layer circuit: It begins with data encoding using angle embedding, where input data is encoded into the quantum state via parameterized rotation gates $R_{X}(\theta_{i})$ . The encoded quantum states are then processed by a parameterized quantum circuit consisting of additional par