[論文レビュー] FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Learning

Xiao-Yang Liu, Ziyi Xia+7 more|arXiv (Cornell University)|Nov 6, 2022

Stock Market Forecasting Methods被引用数 7

ひとこと要約

FinRL-Meta は、データドリブンな金融強化学習のための、数百の動的で gym スタイルの市場環境と標準化されたベンチマークを提供するオープンソースでコミュニティメンテナンス型のフレームワークを導入する。DataOps パイプラインに基づいて構築されており、リアルタイムでのデータインジェスト、自動環境作成、公開済み DRL 論文の再現性のあるベンチマーク評価、クラウドホスティング型のコミュニティコンペティションを可能にし、金融強化学習研究におけるシミュレーションと現実のギャップを顕著に縮小する。

ABSTRACT

Finance is a particularly difficult playground for deep reinforcement learning. However, establishing high-quality market environments and benchmarks for financial reinforcement learning is challenging due to three major factors, namely, low signal-to-noise ratio of financial data, survivorship bias of historical data, and model overfitting in the backtesting stage. In this paper, we present an openly accessible FinRL-Meta library that has been actively maintained by the AI4Finance community. First, following a DataOps paradigm, we will provide hundreds of market environments through an automatic pipeline that collects dynamic datasets from real-world markets and processes them into gym-style market environments. Second, we reproduce popular papers as stepping stones for users to design new trading strategies. We also deploy the library on cloud platforms so that users can visualize their own results and assess the relative performance via community-wise competitions. Third, FinRL-Meta provides tens of Jupyter/Python demos organized into a curriculum and a documentation website to serve the rapidly growing community. FinRL-Meta is available at: https://github.com/AI4Finance-Foundation/FinRL-Meta

研究の動機と目的

• 高精度で動的な市場環境を構築することで、金融強化学習におけるシミュレーションと現実のギャップを解消すること。
• 自動化された DataOps パイプラインにより、金融 DRL 研究における手動のデータ処理を低減し、データ品質を向上させること。
• 株式、為替、暗号資産取引における代表的な DRL 論文の再現を通じて、再現性のあるベンチマークを確立すること。
• クラウドホスティング型のコンペティションと可視化ツールを通じて、コミュニティ全体でのパフォーマンス評価を可能にすること。
• キュレートされた Jupyter/Python デモと包括的なドキュメンテーション Web サイトを通じて、教育的支援および産業界への導入を支援すること。

提案手法

• 30 以上の実世界の市場データソースから、自動化された DataOps パイプラインを用いて、データ収集、クリーニング、特徴工学、環境作成を自動化する。
• 生の金融データを、既存の DRL フレームワークと互換性のある標準化された gym スタイルの強化学習環境に変換する。
• 高頻度取引、暗号資産、ポートフォリオアロケーション分野における主要な DRL 論文を再現し、基準ベンチマークとして提供する。
• クラウドプラットフォーム（例：NVIDIA DGX-2 SuperPod）にベンチマークをホスティングし、スケーラブルなトレーニングとリアルタイムのパフォーマンス可視化を可能にする。
• 新規ユーザーの参入障壁を下げるために、Jupyter/Python ノートブックのカリキュラムとドキュメンテーション Web サイトを提供する。
• 将来的な拡張として、共同学習シナリオにおけるデータおよび戦略のプライバシーを保護するためのフェデレーテッドラーニングを統合する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで自動化されたパイプラインは、金融 DRL 研究におけるデータ品質の問題と人的作業をどの程度低減できるか？
• RQ2 標準化され再現性のある市場環境は、DRL トレーディング戦略の信頼性と比較可能性をどの程度向上できるか？
• RQ3 コミュニティ主導のクラウドホスティング型コンペティションは、現実に近い条件下で DRL エージェントのパフォーマンスを効果的に評価・ランク付けできるか？
• RQ4 リアルタイムデータと動的環境の統合は、金融 RL におけるシミュレーションと現実のギャップをどの程度軽減できるか？
• RQ5 フェデレーテッドラーニングは、金融分野における共同モデルトレーニングを可能にしつつ、データおよび戦略のプライバシーをどの程度保護できるか？

主な発見

• FinRL-Meta は、自動化された DataOps パイプラインを介して、300 以上の動的で gym スタイルの市場環境を、実世界の金融データから提供する。
• このフレームワークにより、株式、為替、暗号資産分野で 10 範目以上の公開済み DRL 論文の再現性のあるベンチマーク評価が可能となり、一貫した評価条件が保証される。
• コミュニティ全体が参加するクラウドホスティング型コンペティションにより、ユーザーはリアルタイムで自身のエージェントのパフォーマンスを他の参加者と可視化・比較できる。
• 本プロジェクトは、トップ大学やテック企業に所属する研究者、定量的トレーダー、ソフトウェアエンジニアを含む 10,000 人を超えるアクティブなコミュニティメンバーを獲得した。
• FinRL-Podracer プロジェクトは、NVIDIA DGX-2 プラットフォーム上で 1,000 グラフィックス・プロセッサ以上をスケーリングし、高性能トレーニングの能力を実証した。
• MIT ライセンスの下で積極的にメンテナンスされており、包括的なドキュメンテーション、教育用デモ、コロンビア大学およびニューヨーク大学の学術課程への統合が行われている。