[論文レビュー] A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading

Rasoul Amirzadeh, Dhananjay Thiruvady+2 more|arXiv (Cornell University)|Oct 14, 2023

Blockchain Technology Applications and SecurityComputer Science被引用数 3

ひとこと要約

本論文では、ベイジアンネットワークを用いた因果的特徴選択と、動的ベイジアンネットワークからの確率的価格シグナルを統合する強化学習フレームワーク、CausalReinforceNetを提案する。このフレームワークは、変動が激しいアルトコイン市場における意思決定を向上させ、PPOおよびDDPGエージェントの両方がBuy-and-Holdを上回る成果を上げ、バイナスコインおよびイーサリアムで高いリターンを達成しながら、ポジションサイズの制限による保守的なリスク管理を維持する。

ABSTRACT

Despite advances in artificial intelligence-enhanced trading methods, developing a profitable automated trading system remains challenging in the rapidly evolving cryptocurrency market. This research focuses on developing a reinforcement learning (RL) framework to tackle the complexities of trading five prominent altcoins: Binance Coin, Ethereum, Litecoin, Ripple, and Tether. To this end, we present the CausalReinforceNet~(CRN) framework, which integrates both Bayesian and dynamic Bayesian network techniques to empower the RL agent in trade decision-making. We develop two agents using the framework based on distinct RL algorithms to analyse performance compared to the Buy-and-Hold benchmark strategy and a baseline RL model. The results indicate that our framework surpasses both models in profitability, highlighting CRN's consistent superiority, although the level of effectiveness varies across different cryptocurrencies.

研究の動機と目的

• 高変動性の暗号通貨市場、特にアルトコインにおいて利益を上げる自動取引システムを開発する課題に対処すること。
• ベイジアンネットワークを用いた因果的特徴同定を統合し、強化学習エージェントの状態表現を改善すること。
• 動的ベイジアンネットワークからの確率的価格予測シグナルを組み込むことで、RL意思決定の精度を向上させること。
• ポジションサイズの制限を設えることでリスクに配慮した取引システムを設計し、極端な市場変動に対する露出を低減すること。
• CausalReinforceNetフレームワーク内での2種類の異なるRLアルゴリズム（PPOとDDPG）の性能を、複数のアルトコインに対して評価すること。

提案手法

• CausalReinforceNetは、ベイジアンネットワークを用いてアルトコインの価格変動に影響を与える因果的特徴を同定し、RLエージェントの状態空間を構成する。
• 動的ベイジアンネットワークが確率的売買シグナルを生成し、RLエージェントの行動選択を支援することで、市場シグナルの解釈を強化する。
• このフレームワークにより、RLエージェントは取引行動（買、売、保有）とポジションサイズの両方を選択でき、リスク管理を意思決定プロセスに統合する。
• プロキシマルポリシー最適化（PPO）とディープデターミニスティックポリシー勾配（DDPG）を用いて2つのエージェントを訓練し、アルゴリズム性能の比較を可能にする。
• 保守的な取引戦略により、ポジションサイズを制限することで、変動が激しい市場における初期資本の露出を低減する。
• 特徴工学は各アルトコインに合わせてカスタマイズされ、バイナスコイン、イーサリアム、リッジコイン、リップル、テザーの間で異なる市場行動を反映する。

Figure 1 : RL Classic Cycle – The agent-environment interaction cycle is a continuous loop where an agent interacts with its environment in discrete time steps. At each time step, the agent observes the current state of the environment and selects an action based on its policy. After taking action,

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークを用いた因果的特徴選択を統合することで、自動暗号通貨取引における強化学習エージェントの性能はどの程度向上するか？
• RQ2 動的ベイジアンネットワークの予測は、変動が激しいアルトコイン市場におけるRLエージェントの意思決定精度をどの程度向上させるか？
• RQ3 CausalReinforceNetフレームワーク内に埋め込まれた異なる強化学習アルゴリズム（PPO 対 DDPG）は、複数のアルトコインにおいてどのように性能を発揮するか？
• RQ4 保守的なポジションサイズの制御は、高変動性の暗号通貨取引においてリスクを低減しながらも利益を維持するのにとってどのような役割を果たすか？
• RQ5 Tetherでは一貫したDBN予測がなされているにもかかわらず、エージェントが異なる行動を示すのはなぜか？この現象は資産固有の市場ダイナミクスをどのように明らかにするか？

主な発見

• PPOおよびDDPGエージェントは、全5つのアルトコインにおいてBuy-and-Holdベンチマークを上回り、収益性の高い取引戦略を生成するという、フレームワークの有効性を示している。
• バイナスコインおよびイーサリアムにおいて、両アルゴリズムとも顕著な投資リターンを達成し、平均ROIが正の値を示している。
• DDPGエージェントは慎重な戦略を採用しており、高いDBNによる買いシグナルにもかかわらず、保有行動を多く実行しており、不確実な状況下での慎重さを示している。
• テザーでは、DBNが下落を59.87％の確率で予測しているにもかかわらず、DDPGエージェントは53.45％の買い行動を実行しており、このステーブルコインに特有の反動的またはリスクオンのアプローチである可能性を示唆している。
• リップルでは、1つのエージェントが正のリターン、もう1つのエージェントが負のリターンを記録しており、RLエージェントが資産固有のダイナミクスに極めて感受しやすいことが浮き彫りになっている。
• 保有行動が最も頻繁に選択されており、市場の不確実性や明確なシグナルの欠如により、多くの期間において取引を回避する傾向がエージェントに見られた。

Figure 2 : CausalReinforceNet Architecture – The framework comprises four essential elements. The first category encompasses input features containing market data, technical indicators, financial assets, and social media. The second element consists of a BN module, which is responsible for the featu