[논문 리뷰] QADQN: Quantum Attention Deep Q-Network for Financial Market Prediction

Siddhant Dutta, Nouhaila Innan외 3명|arXiv (Cornell University)|2024. 08. 06.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 금융 시장 예측을 향상시키기 위해 양자 주의 메커니즘을 사용하여 변이 양자 회로와 딥 Q-네트워크를 통합한 양자-고전 하이브리드 강화학습 프레임워크인 QADQN을 제안한다. 이는 거래 수수료를 고려한 S&P 500 데이터에서 Buy & Hold 및 DDPG 기준선을 능가하는 우수한 리스크 조정 수익률을 달성하며, 비중叠 및 중첩 테스트 기간 동안 각각 1.28 및 1.19의 Sortino 비율을 기록한다.

ABSTRACT

Financial market prediction and optimal trading strategy development remain challenging due to market complexity and volatility. Our research in quantum finance and reinforcement learning for decision-making demonstrates the approach of quantum-classical hybrid algorithms to tackling real-world financial challenges. In this respect, we corroborate the concept with rigorous backtesting and validate the framework's performance under realistic market conditions, by including fixed transaction cost per trade. This paper introduces a Quantum Attention Deep Q-Network (QADQN) approach to address these challenges through quantum-enhanced reinforcement learning. Our QADQN architecture uses a variational quantum circuit inside a traditional deep Q-learning framework to take advantage of possible quantum advantages in decision-making. We gauge the QADQN agent's performance on historical data from major market indices, including the S&P 500. We evaluate the agent's learning process by examining its reward accumulation and the effectiveness of its experience replay mechanism. Our empirical results demonstrate the QADQN's superior performance, achieving better risk-adjusted returns with Sortino ratios of 1.28 and 1.19 for non-overlapping and overlapping test periods respectively, indicating effective downside risk management.

연구 동기 및 목표

• 고차원적이고 노이즈가 많으며 비-stationary한 시장 데이터로 인해 고전적 딥 강화학습이 겪는 한계를 해결하기 위해.
• 딥 Q-학습 프레임워크에 통합된 변이 양자 회로를 통해 양자 컴퓨팅의 장점을 활용하여 향상된 의사결정 능력을 확보하기 위해.
• 기존의 다중 헤드 주의 메커니즘을 다중 헤드 양자 주의 레이어로 대체하여 금융 시계열 모델링에서의 주의 메커니즘을 향상시키기 위해.
• 고정된 거래 수수료와 POMDP 설정을 통한 부분 관측 조건을 포함한 실제 시장 조건에서의 프레임워크 검증을 위해.
• Buy & Hold 및 DDPG와 같은 기존 기준선에 비해 뛰어난 리스크 조정 성능을 입증하기 위해.

제안 방법

• 양자 강화학습 기반의 특징 표현 및 의사결정 능력을 향상시키기 위해 딥 Q-네트워크 내부에 변이 양자 회로(VQC)를 통합한다.
• 기존의 다중 헤드 주의를 양자 주의 메커니즘으로 대체하여 관련 시장 특징에 대한 집중도를 높이고 계산 오버헤드를 감소시킨다.
• 금융 시장의 부분 관측 가능한 특성을 모델링하기 위해 POMDP 프레임워크를 활용하여 불확실성 하에서의 강건성을 향상시킨다.
• 학습 기간 동안 탐색과 이용의 균형을 맞추기 위해 복수의 행동을 포함한 Dual Thrust 전략을 사전에 재생 버퍼에 채우는 이민적 학습을 적용한다.
• 표준 및 우선순위 기반 경험 재현을 모두 적용하여 학습 안정성 향상과 샘플 효율성 향상을 도모한다.
• 0.2%의 수수료율을 적용한 백테스트를 실시하고, 샤프 비율, Sortino 비율, 최대 손실 비율 지표를 통해 성능을 평가한다.

Figure 1: QADQN Agent Architecture: The architecture begins with an LSTM network, which processes the input features along with the previous hidden and cell states $(h(t-1),c(t-1))$ to produce the current hidden and cell states $(h(t),c(t))$ . The output of the LSTM is then passed through a pre-net

실험 결과

연구 질문

• RQ1 양자 주의 메커니즘을 통합한 양자 강화된 딥 Q-네트워크가 고전적 기준선에 비해 금융 시장 예측 및 거래 성능을 향상시킬 수 있는가?
• RQ2 딥 Q-학습 프레임워크에 변이 양자 회로를 통합할 경우 금융 시계열 데이터에서 학습 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 고차원적 금융 데이터에서 시간적 및 시장 특징을 파악하는 데 있어 양자 주의 메커니즘이 기존의 주의 메커니즘보다 얼마나 뛰어난가?
• RQ4 거래 수수료 및 부분 관측 조건을 포함한 실제 시장 조건에서 QADQN 프레임워크는 어떤 성능을 보이는가?
• RQ5 이민적 학습과 양자 주의의 조합이 금융 거래 에이전트의 탐색-이용 균형을 향상시킬 수 있는가?

주요 결과

• QADQN 프레임워크는 비중첩 테스트 기간 동안 총 수익률 71.26%를 기록하여 Buy & Hold 전략(44.22%)과 DDPG(15.94%)를 뛰어넘었다.
• 비중첩 기간 동안 Sortino 비율 1.28을 기록하여 효과적인 하방 리스크 관리 능력을 입증하였다.
• 비중첩 기간의 샤프 비율 0.77 및 중첩 기간의 0.82는 다양한 시장 조건에서 일관된 리스크 조정 수익률을 반영한다.
• 두 테스트 기간 모두 최대 손실 비율이 일관되게 19.24%를 유지하여 시장 하락장에서도 손실 통제 능력이 뛰어나다는 것을 보여준다.
• QADQN 모델은 수익률, 샤프 비율, Sortino 비율 등 모든 주요 지표에서 Buy & Hold 및 DDPG 기준선을 모두 초월하였다.
• 시각적 분석을 통해 에이전트가 낮은 가격 수준에서 매수하고 높은 가격 수준에서 매도하는 것을 학습한 것으로 확인되어 효과적인 추세 활용 능력을 보였다.

Figure 2: Quantum layer circuit: It begins with data encoding using angle embedding, where input data is encoded into the quantum state via parameterized rotation gates $R_{X}(\theta_{i})$ . The encoded quantum states are then processed by a parameterized quantum circuit consisting of additional par