[論文レビュー] FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance

Xiaoyang Liu, Jingyang Rui+6 more|arXiv (Cornell University)|Dec 13, 2021

Financial Markets and Investment Strategies被引用数 4

ひとこと要約

FinRL-Metaは、数百のニアリアルタイム市場環境、DataOpsを用いた自動化されたデータエンジニアリング、および数千のGPUコアを活用した並列学習を提供することで、定量的金融における深層強化学習（DRL）のスケーラブルでデータ駆動型のフレームワークを提示する。これにより、株式取引や暗号資産取引を含む多様な取引タスクの高精度なシミュレーションが可能となり、バックテストでは年間リターン32.1%、シャープレシオ1.62を達成し、紙取引でも一貫した優れたパフォーマンスを示した。

ABSTRACT

Deep reinforcement learning (DRL) has shown huge potentials in building financial market simulators recently. However, due to the highly complex and dynamic nature of real-world markets, raw historical financial data often involve large noise and may not reflect the future of markets, degrading the fidelity of DRL-based market simulators. Moreover, the accuracy of DRL-based market simulators heavily relies on numerous and diverse DRL agents, which increases demand for a universe of market environments and imposes a challenge on simulation speed. In this paper, we present a FinRL-Meta framework that builds a universe of market environments for data-driven financial reinforcement learning. First, FinRL-Meta separates financial data processing from the design pipeline of DRL-based strategy and provides open-source data engineering tools for financial big data. Second, FinRL-Meta provides hundreds of market environments for various trading tasks. Third, FinRL-Meta enables multiprocessing simulation and training by exploiting thousands of GPU cores. Our codes are available online at https://github.com/AI4Finance-Foundation/FinRL-Meta.

研究の動機と目的

• ノイズの多い歴史的データと限られたエージェントの多様性によって引き起こされるDRLベースの市場シミュレータの低精度を是正すること。
• DataOpsパラダイムを用いて、複数の金融データソース（例：Yahoo! Finance、CCXT、WRDS.TAQ）に対して、データインジェスト、クリーニング、特徴工学を自動化し、多様な金融データの処理を迅速化すること。
• 数千のGPUコアを横断した大規模並列化により、DRL学習を加速すること。
• 多様な定量的金融タスクをカバーする包括的でオープンソースの市場環境のユニバースを提供すること。
• アルゴリズム取引におけるデータ駆動型DRLのベンチマーク評価と再現可能性を支援すること。

提案手法

• データ、環境、エージェントのレイヤーを有する階層的アーキテクチャを統合し、モジュラーでスケーラブルなDRLパイプライン設計を可能にする。
• 複数の金融データソース（例：Yahoo! Finance、CCXT、WRDS.TAQ）において、データインジェスト、クリーニング、特徴工学を自動化するDataOpsパラダイムを適用する。
• ハイフレーケンシー取引、ポートフォリオ割り当て、暗号資産取引を含む、多様なタスク向けに数百のニアリアルタイムDRL環境を生成する。
• 多様な市場状況にわたるポリシー学習を加速するために、数千のGPUコアを活用した並列学習を実装する。
• 状態、行動、報酬、遷移ダイナミクスを有するマーカフ連鎖過程（MDP）形式を用いて取引タスクをモデル化する。
• エージェントの学習と評価に適した人気DRLライブラリ（例：ElegantRL、Stable-baselines3、RLlib）とのエンドツーエンド統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 DRLベースの金融市場シミュレータの忠実性を向上させるために、データ品質と処理のアジリティをどのように改善できるか？
• RQ2 大規模で多様性に富んだニアリアルタイム市場環境のユニバースは、DRL取引エージェントのロバスト性と一般化性能を向上させ得るか？
• RQ3 数千のGPUコアを横断した並列処理により、複雑な金融タスクのDRL学習はどの程度加速できるか？
• RQ4 FinRL-Meta環境で学習したDRLエージェントは、バックテストおよびリアルタイムの紙取引シナリオでどの程度のパフォーマンスを示すか？
• RQ5 このフレームワークは、現実の金融市場の複雑さを反映するマルチエージェント市場シミュレーションを支援できるか？

主な発見

• 株式取引のバックテストにおいて、Stable-baselines3エージェントは年間リターン32.106%、シャープレシオ1.621を達成し、Dow Jones Industrial Average（DJIA）ベンチマークを上回った。
• 同エージェントは紙取引でも良好なパフォーマンスを維持し、年間リターン5.492%、シャープレシオ0.447を記録した。
• 暗号資産取引のバックテストでは、ElegantRLエージェントが年間リターン360.823%、シャープレシオ2.992を達成し、BTCのホールドベンチマークを著しく上回った。
• 暗号資産の紙取引では、エージェントが年間リターン121.380%、シャープレシオ1.608を達成し、リアルタイム環境下でもロバストであることが確認された。
• 数千のGPUコアを活用したスケーラブルで高速なトレーニングが、多様な金融タスクにわたるDRLパイプラインの加速に成功した。
• FinRL-Metaのオープンソース化により、定量的金融におけるDRLエージェントの再現可能性とコミュニティ主導の開発が促進された。