[论文解读] DeepScalper: A Risk-Aware Reinforcement Learning Framework to Capture Fleeting Intraday Trading Opportunities

Shuo Sun, Xue, Wanqi+5 more|arXiv (Cornell University)|Dec 15, 2021

Financial Markets and Investment Strategies被引用 6

一句话总结

DeepScalper 是一种风险感知强化学习框架，通过结合双值Q网络与动作分支、事后奖励函数、基于编码器-解码器架构的多模态市场表征，以及波动率预测辅助任务，实现了高频日内交易。该框架在六种金融期货上的总收益、夏普比率和风险调整后表现方面显著优于最先进基线方法。

ABSTRACT

Reinforcement learning (RL) techniques have shown great success in many challenging quantitative trading tasks, such as portfolio management and algorithmic trading. Especially, intraday trading is one of the most profitable and risky tasks because of the intraday behaviors of the financial market that reflect billions of rapidly fluctuating capitals. However, a vast majority of existing RL methods focus on the relatively low frequency trading scenarios (e.g., day-level) and fail to capture the fleeting intraday investment opportunities due to two major challenges: 1) how to effectively train profitable RL agents for intraday investment decision-making, which involves high-dimensional fine-grained action space; 2) how to learn meaningful multi-modality market representation to understand the intraday behaviors of the financial market at tick-level. Motivated by the efficient workflow of professional human intraday traders, we propose DeepScalper, a deep reinforcement learning framework for intraday trading to tackle the above challenges. Specifically, DeepScalper includes four components: 1) a dueling Q-network with action branching to deal with the large action space of intraday trading for efficient RL optimization; 2) a novel reward function with a hindsight bonus to encourage RL agents making trading decisions with a long-term horizon of the entire trading day; 3) an encoder-decoder architecture to learn multi-modality temporal market embedding, which incorporates both macro-level and micro-level market information; 4) a risk-aware auxiliary task to maintain a striking balance between maximizing profit and minimizing risk. Through extensive experiments on real-world market data spanning over three years on six financial futures, we demonstrate that DeepScalper significantly outperforms many state-of-the-art baselines in terms of four financial criteria.

研究动机与目标

• 解决在高维、细粒度动作空间中捕捉转瞬即逝的日内交易机会的挑战。
• 通过整合微观市场数据与宏观市场数据，学习有意义的多模态市场表征。
• 通过在奖励函数中引入事后奖励，改善日内交易中的长期决策能力。
• 通过波动率预测辅助任务提升训练稳定性和风险意识。
• 尽管在训练期间对特定资产的暴露有限，仍实现对多样化金融工具的稳健泛化。

提出的方法

• 采用带有动作分支的双值Q网络，以高效优化高维日内交易动作空间中的强化学习智能体训练。
• 设计一种新颖的奖励函数，引入事后奖励，促使智能体考虑全天价格趋势，从而促进长时程决策。
• 利用编码器-解码器架构，通过融合微观订单簿数据与宏观价格趋势，学习时间序列市场嵌入。
• 引入风险感知辅助任务，预测市场波动率，以在训练过程中平衡利润最大化与风险最小化。
• 在六种金融期货的真实逐笔数据上端到端训练该框架，包括两种股票指数和四种国债期货。
• 通过消融研究对超参数（如事后时间范围和辅助任务权重）进行调优，以优化性能。

实验结果

研究问题

• RQ1 如何有效训练强化学习智能体以应对高维、细粒度动作空间下的日内交易？
• RQ2 奖励函数中引入事后奖励在多大程度上提升了长期日内交易表现？
• RQ3 结合微观与宏观市场数据的多模态市场表征是否能增强智能体对日内市场动态的理解？
• RQ4 在训练中引入波动率预测辅助任务如何影响训练稳定性和风险调整后收益？
• RQ5 尽管在训练期间未接触其数据，DeepScalper 在未见金融工具上的泛化能力如何？

主要发现

• 在所有六种金融期货上，DeepScalper 的总收益均高于所有基线方法，在某些情况下较次佳方法提升20%–30%。
• 采用事后奖励训练的智能体展现出更优的长期时序意识，能早期识别并建立大额空头头寸，成功捕捉全天趋势（如完整下跌趋势）。
• 风险感知辅助任务降低了多组随机种子下的性能方差，所有六种资产的总收益与夏普比率标准差均更低。
• 该框架对未见金融工具具有稳健的泛化能力：尽管仅在TF02数据上训练，DeepScalper 在T02期货上表现一致优异，而MV、GRU和LGBM则表现不佳。
• 消融研究证实，每个组件——动作分支、事后奖励、多模态编码和风险辅助任务——均对整体性能有显著贡献。
• 最优事后时间范围被确定为180个时间步（约30分钟），超过此范围性能因对长期信号过拟合而下降。