[論文レビュー] Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review

Tidor-Vlad Pricope|arXiv (Cornell University)|May 31, 2021

Stock Market Forecasting Methods被引用数 26

ひとこと要約

本論文は自動化された低周波数の定量株式取引に対する深層強化学習（DRL）アプローチを概観し、実時間テストと利益検証の大きなギャップとともに有望な結果を強調している。

ABSTRACT

Algorithmic stock trading has become a staple in today's financial market, the majority of trades being now fully automated. Deep Reinforcement Learning (DRL) agents proved to be to a force to be reckon with in many complex games like Chess and Go. We can look at the stock market historical price series and movements as a complex imperfect information environment in which we try to maximize return - profit and minimize risk. This paper reviews the progress made so far with deep reinforcement learning in the subdomain of AI in finance, more precisely, automated low-frequency quantitative stock trading. Many of the reviewed studies had only proof-of-concept ideals with experiments conducted in unrealistic settings and no real-time trading applications. For the majority of the works, despite all showing statistically significant improvements in performance compared to established baseline strategies, no decent profitability level was obtained. Furthermore, there is a lack of experimental testing in real-time, online trading platforms and a lack of meaningful comparisons between agents built on different types of DRL or human traders. We conclude that DRL in stock trading has showed huge applicability potential rivalling professional traders under strong assumptions, but the research is still in the very early stages of development.

研究の動機と目的

• 低周波数株式市場におけるエンドツーエンド取引エージェントへのDRL適用を評価する。
• クリティック専用、アクター専用、アクター-クリティックのDRLアプローチに分類し、それぞれの長所と短所を要約する。
• 金融DRLにおけるデータ品質、可観測性、探索–活用の課題、報酬設計を評価する。
• 概念実証結果とリアルタイム・ライブ取引の実現性とのギャップを特定する。

提案手法

• レビュー対象研究をRLパラダイムで分類する：クリティック専用、アクター専用、アクター-クリティック。
• 使用される主要アルゴリズムを要約する（DQN/DRQN、GRU-DQN、GDQN、GDPG、PPO、A2C、DDPG）。
• 報酬関数とリスク指標（例：シャープ比、ソルティーノ比）を論じる。
• 研究間で評価設定、データセット、パフォーマンス指標を比較する。
• 小さい行動空間、取引コストのモデリング欠如、広範なリアルタイムテストの不在などの制限を強調する。
• リアルタイム展開と市場を凌駕するパフォーマンスの可能性について総合提案を提供する。

実験結果

リサーチクエスチョン

• RQ1 現実的な制約の下で、DRLベースの取引エージェントは分単位から日次の時間枠で超人間性能を達成できるか？
• RQ2 クリティック専用、アクター専用、アクター-クリティックのDRL手法は、ライブに近い取引環境でどのように比較されるか？
• RQ3 DRL取引エージェントのリアルタイムオンラインテストと展開への主な障壁は何か？
• RQ4 報酬設計とリスク指標は、DRL取引のパフォーマンス形成にどのような役割を果たすか？

主な発見

• DRLは分単位から日次の時間枠での取引に潜在能力を示し、プロトタイプシステムは選択された市場で顕著なパフォーマンスを達成している。
• クリティック専用手法（例：DQN）は一般的だが、連続アクション空間と状態空間、報酬感度の課題に直面している。
• アクター専用手法は連続アクション空間を提供するが、より多くのデータと長い訓練時間を必要とすることがある。
• アクター-クリティック手法（PPO、A2C、DDPG）は、データ分布の変化や学習中の不安定さへの堅牢性を提供する。
• ダウジョーンズ株式におけるPPO、A2C、DDPGを組み合わせたアンサンブルDRL戦略は、単一モデルよりも堅牢なパフォーマンスとリスク管理上の利点を示す。
• 研究全体として、多くは概念実証段階でリアルタイムテストが限定され、報告された収益性はさまざまである。リアルタイムのオンライン展開と直接的な人間トレーダーとの比較は依然として希少である。