[论文解读] A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading

Rasoul Amirzadeh, Dhananjay Thiruvady+2 more|arXiv (Cornell University)|Oct 14, 2023

Blockchain Technology Applications and SecurityComputer Science被引用 3

一句话总结

该论文提出CausalReinforceNet，一种结合贝叶斯网络进行因果特征选择以及动态贝叶斯网络生成的概率性价格信号的强化学习框架，以提升自动化加密货币交易表现。该框架在波动性较高的山寨币市场中增强了决策能力，PPO与DDPG智能体均优于买入并持有策略，在币安币和以太坊上实现了强劲收益，同时通过仓位规模限制实现了保守的风险管理。

ABSTRACT

Despite advances in artificial intelligence-enhanced trading methods, developing a profitable automated trading system remains challenging in the rapidly evolving cryptocurrency market. This research focuses on developing a reinforcement learning (RL) framework to tackle the complexities of trading five prominent altcoins: Binance Coin, Ethereum, Litecoin, Ripple, and Tether. To this end, we present the CausalReinforceNet~(CRN) framework, which integrates both Bayesian and dynamic Bayesian network techniques to empower the RL agent in trade decision-making. We develop two agents using the framework based on distinct RL algorithms to analyse performance compared to the Buy-and-Hold benchmark strategy and a baseline RL model. The results indicate that our framework surpasses both models in profitability, highlighting CRN's consistent superiority, although the level of effectiveness varies across different cryptocurrencies.

研究动机与目标

• 为解决在高波动性加密货币市场（尤其是山寨币）中开发盈利自动化交易系统所面临的挑战。
• 通过贝叶斯网络集成因果特征识别，以改善强化学习智能体的状态表征。
• 通过动态贝叶斯网络生成的概率性价格走势信号，增强强化学习的决策能力。
• 设计一种风险感知的交易系统，通过限制仓位规模来减轻极端市场波动带来的风险暴露。
• 在多个山寨币上评估两种不同强化学习算法（PPO与DDPG）在CausalReinforceNet框架中的性能表现。

提出的方法

• CausalReinforceNet利用贝叶斯网络识别影响山寨币价格波动的因果特征，构成强化学习智能体的状态空间。
• 动态贝叶斯网络生成概率性买入/卖出信号，指导强化学习智能体的动作选择，提升市场信号的解读能力。
• 该框架使强化学习智能体能够同时选择交易动作（买入、卖出、持有）与仓位规模，将风险控制整合进决策过程。
• 采用近端策略优化（PPO）与深度确定性策略梯度（DDPG）训练两个智能体，以比较不同算法的性能表现。
• 采用保守的交易策略，限制仓位规模以降低风险暴露，保护初始资本在剧烈波动市场中的安全。
• 特征工程根据每种代币定制，承认币安币、以太坊、莱特币、瑞波币与泰达币之间存在不同的市场行为特征。

Figure 1 : RL Classic Cycle – The agent-environment interaction cycle is a continuous loop where an agent interacts with its environment in discrete time steps. At each time step, the agent observes the current state of the environment and selects an action based on its policy. After taking action,

实验结果

研究问题

• RQ1 通过贝叶斯网络集成因果特征选择，如何提升强化学习智能体在自动化加密货币交易中的表现？
• RQ2 动态贝叶斯网络的预测在多大程度上提升了强化学习智能体在高波动性山寨币市场中的决策准确性？
• RQ3 当嵌入CausalReinforceNet框架时，不同强化学习算法（PPO与DDPG）在多个山寨币上的表现如何？
• RQ4 保守的仓位规模在高波动性加密货币交易中，如何在维持盈利的同时有效降低风险？
• RQ5 尽管DBN预测一致，为何智能体在泰达币上表现出不同行为？这揭示了何种资产特定的市场动态？

主要发现

• PPO与DDPG智能体在所有五种山寨币上均优于买入并持有基准，证明该框架在生成盈利交易策略方面的有效性。
• 智能体在币安币与以太坊上实现了显著的投资回报，两种算法的平均投资回报率（ROI）均为正。
• DDPG智能体表现出保守策略，尽管DBN生成了更高的买入信号，仍执行了更多持有操作，表明在不确定性条件下保持谨慎。
• 对于泰达币，DDPG智能体执行了53.45%的买入操作，尽管DBN预测下跌概率为59.87%，表明该稳定币存在逆势或风险偏好型策略。
• 在瑞波币上，两个智能体表现迥异，一个产生正收益，另一个产生负收益，凸显强化学习智能体对资产特定动态的高度敏感性。
• 持有操作是最常见的策略，表明市场不确定性与缺乏明确信号导致智能体在许多时期选择避免交易。

Figure 2 : CausalReinforceNet Architecture – The framework comprises four essential elements. The first category encompasses input features containing market data, technical indicators, financial assets, and social media. The second element consists of a BN module, which is responsible for the featu