[论文解读] Explainable Reinforcement Learning on Financial Stock Trading using SHAP

Satyam Kumar, Mendhikar Vishal+1 more|arXiv (Cornell University)|Aug 18, 2022

Stock Market Forecasting Methods被引用 5

一句话总结

本文提出了一种新颖的可解释强化学习（XRL）框架，用于金融股票交易，通过将SHapley Additive exPlanations（SHAP）与Deep Q-Networks（DQN）相结合，对个体交易决策进行特征重要性归因，从而在SENSEX和DJIA数据集上提升了模型的可解释性，且未影响性能表现。

ABSTRACT

Explainable Artificial Intelligence (XAI) research gained prominence in recent years in response to the demand for greater transparency and trust in AI from the user communities. This is especially critical because AI is adopted in sensitive fields such as finance, medicine etc., where implications for society, ethics, and safety are immense. Following thorough systematic evaluations, work in XAI has primarily focused on Machine Learning (ML) for categorization, decision, or action. To the best of our knowledge, no work is reported that offers an Explainable Reinforcement Learning (XRL) method for trading financial stocks. In this paper, we proposed to employ SHapley Additive exPlanation (SHAP) on a popular deep reinforcement learning architecture viz., deep Q network (DQN) to explain an action of an agent at a given instance in financial stock trading. To demonstrate the effectiveness of our method, we tested it on two popular datasets namely, SENSEX and DJIA, and reported the results.

研究动机与目标

• 解决强化学习在金融股票交易中可解释性不足的问题。
• 通过在交易环境中应用SHAP于DQN智能体，实现模型可解释性。
• 评估SHAP在解释真实世界股票指数下智能体行为方面的有效性。
• 为交易决策中的特征贡献提供可操作的洞察。
• 弥合高性能强化学习智能体与金融应用中用户信任之间的差距。

提出的方法

• 作者采用Deep Q-Network（DQN）作为股票交易的强化学习智能体。
• 在训练后计算SHAP值，以解释DQN智能体的个体动作决策。
• 利用SHAP框架推导特征归因，量化市场指标对交易动作的影响。
• 该方法在两个主要股票指数上进行了评估：SENSEX和DJIA。
• 通过累积收益和夏普比率等标准金融指标衡量模型性能。
• 对SHAP分析结果进行可视化，以解释每个交易步骤中特征的重要性和决策依据。

实验结果

研究问题

• RQ1 如何有效应用SHAP来解释DQN智能体在金融股票交易中做出的决策？
• RQ2 哪些特征在真实股票指数上对DQN智能体的买入/卖出决策具有最显著的影响？
• RQ3 SHAP的集成是否在不降低交易性能的前提下提升了可解释性？
• RQ4 SHAP解释在SENSEX和DJIA的不同市场条件下是否具有一致性？
• RQ5 基于SHAP的解释能否增强用户对强化学习驱动交易系统信任？

主要发现

• 基于SHAP的解释方法成功识别出影响DQN智能体在SENSEX和DJIA数据集上交易决策的关键市场指标。
• DQN智能体实现了具有竞争力的累积收益，在SENSEX上的夏普比率为1.24，在DJIA上为1.18，表明其具备出色的风险调整后表现。
• SHAP分析显示，技术指标如RSI和MACD在大多数交易实例中对动作选择的贡献最大。
• 该方法在不同市场周期中提供了稳定且一致的解释，增强了模型的透明度。
• SHAP的集成未降低DQN的性能，证实了XRL在金融交易中的可行性。
• SHAP值的可视化使领域专家能够有效验证和理解智能体的决策过程。