[论文解读] AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks

Jingyuan Wang, Yang Zhang+3 more|RePEc: Research Papers in Economics|Jul 24, 2019

Stock Market Forecasting Methods被引用 14

一句话总结

AlphaStock 提出了一种基于强化学习的投资策略，通过整合可解释的深度注意力网络，在股票交易中实现风险与收益的平衡。通过建模跨资产关系，并强调具有长期高增长、低波动性、高内在价值及近期被低估的股票，该策略在美股和A股市场中均优于现有策略，且具备更高的可解释性与鲁棒性。

ABSTRACT

Recent years have witnessed the successful marriage of finance innovations and AI techniques in various finance applications including quantitative trading (QT). Despite great research efforts devoted to leveraging deep learning (DL) methods for building better QT strategies, existing studies still face serious challenges especially from the side of finance, such as the balance of risk and return, the resistance to extreme loss, and the interpretability of strategies, which limit the application of DL-based strategies in real-life financial markets. In this work, we propose AlphaStock, a novel reinforcement learning (RL) based investment strategy enhanced by interpretable deep attention networks, to address the above challenges. Our main contributions are summarized as follows: i) We integrate deep attention networks with a Sharpe ratio-oriented reinforcement learning framework to achieve a risk-return balanced investment strategy; ii) We suggest modeling interrelationships among assets to avoid selection bias and develop a cross-asset attention mechanism; iii) To our best knowledge, this work is among the first to offer an interpretable investment strategy using deep reinforcement learning models. The experiments on long-periodic U.S. and Chinese markets demonstrate the effectiveness and robustness of AlphaStock over diverse market states. It turns out that AlphaStock tends to select the stocks as winners with high long-term growth, low volatility, high intrinsic value, and being undervalued recently.

研究动机与目标

• 解决基于深度学习的量化交易策略中风险与收益平衡的挑战。
• 建模资产之间的相互关系，以避免选择偏差并提升投资组合构建质量。
• 提升金融领域深度强化学习模型的可解释性，克服‘黑箱’问题。
• 开发一种基于基本面和技术面因素识别赢家与输家的策略。
• 在美股与A股股票市场中，证明策略在多样化市场条件下的稳健表现。

提出的方法

• 采用带有历史状态注意力的长短期记忆网络（LSTM-HA）从个股中提取多时间序列表征。
• 引入跨资产注意力网络（CAAN）以建模股票间的相互依赖关系，并捕捉投资组合中相对价格动量。
• 设计一种以夏普比率为导向的强化学习框架，以优化风险调整后收益。
• 使用投资组合生成器，根据注意力机制学习到的‘赢家得分’分配投资权重。
• 应用敏感性分析方法，通过测量特征重要性与注意力权重来解释模型决策。
• 端到端训练模型，利用历史价格、基本面及宏观经济数据，以最大化累计夏普比率。

实验结果

研究问题

• RQ1 具备可解释注意力机制的深度强化学习模型能否在量化交易中有效平衡风险与收益？
• RQ2 与聚焦个股的策略相比，建模跨资产关系在多大程度上提升了投资组合表现？
• RQ3 深度强化学习模型中的注意力机制在多大程度上能为投资决策提供可解释的洞察？
• RQ4 所提出的AlphaStock策略是否在不同市场周期下均优于传统及基于深度学习的基准策略？
• RQ5 当识别赢家与输家时，模型优先考虑哪些股票特征（如增长、波动性、内在价值）？

主要发现

• 在长期美股与A股市场数据中，AlphaStock在夏普比率与累计收益方面显著优于基线策略，包括传统动量策略及基于深度学习的强化学习模型。
• 该模型始终将具有长期高增长、低波动性、高内在价值及近期被低估的股票作为首选投资标的。
• 跨资产注意力网络有效捕捉了股票间的关联关系，减少了选择偏差并提升了投资组合的分散化程度。
• 敏感性分析显示，模型决策具有可解释性，注意力权重清晰突出了价格动量与基本面强度等关键财务因素。
• AlphaStock在多种市场状态（如牛市、熊市与盘整市）下均表现出稳健性，表明其具备强大的泛化能力。
• 在强化学习框架中整合夏普比率优化，相比仅最大化收益的方法，显著提升了风险调整后表现。