[論文レビュー] FinRL-Podracer: High Performance and Scalable Deep Reinforcement Learning for Quantitative Finance

Zechu Li, Xiaoyang Liu+4 more|RePEc: Research Papers in Economics|Nov 7, 2021

Stock Market Forecasting Methods被引用数 6

ひとこと要約

FinRL-Podracer は、GPU クラウド上の RLOps（継続的トレーニング、統合、デリバリー）を活用して、定量的金融における DRL ベースのトレーディング戦略開発を加速する、高パフォーマンスでスケーラブルな深層強化学習（DRL）フレームワークです。世代的進化メカニズムとアンサンブル学習、マルチレベル GPU マッピングを採用することで、RLlib や Stable Baseline 3、FinRL よりも 3×–7× の高速トレーニングと 12%–35% の高い年間リターンを達成しました。NASDAQ-100 の分足データを対象としています。

ABSTRACT

Machine learning techniques are playing more and more important roles in finance market investment. However, finance quantitative modeling with conventional supervised learning approaches has a number of limitations. The development of deep reinforcement learning techniques is partially addressing these issues. Unfortunately, the steep learning curve and the difficulty in quick modeling and agile development are impeding finance researchers from using deep reinforcement learning in quantitative trading. In this paper, we propose an RLOps in finance paradigm and present a FinRL-Podracer framework to accelerate the development pipeline of deep reinforcement learning (DRL)-driven trading strategy and to improve both trading performance and training efficiency. FinRL-Podracer is a cloud solution that features high performance and high scalability and promises continuous training, continuous integration, and continuous delivery of DRL-driven trading strategies, facilitating a rapid transformation from algorithmic innovations into a profitable trading strategy. First, we propose a generational evolution mechanism with an ensemble strategy to improve the trading performance of a DRL agent, and schedule the training of a DRL algorithm onto a GPU cloud via multi-level mapping. Then, we carry out the training of DRL components with high-performance optimizations on GPUs. Finally, we evaluate the FinRL-Podracer framework for a stock trend prediction task on an NVIDIA DGX SuperPOD cloud. FinRL-Podracer outperforms three popular DRL libraries Ray RLlib, Stable Baseline 3 and FinRL, i.e., 12% \sim 35% improvements in annual return, 0.1 \sim 0.6 improvements in Sharpe ratio and 3 times \sim 7 times speed-up in training time. We show the high scalability by training a trading agent in 10 minutes with $80$ A100 GPUs, on NASDAQ-100 constituent stocks with minute-level data over 10 years.

研究の動機と目的

• 定量的金融分野における DRL の採用を妨げる急峻な学習曲線と低いトレーニング効率を解消すること。
• スケーラブルなクラウド環境において、DRL ベースのトレーディング戦略の継続的トレーニング、統合、デリバリー（RLOps）を可能にすること。
• 世代的進化と GPU 最適化された分散トレーニングを活用して、トレーディングパフォーマンスとトレーニング速度を向上させること。
• GPU クラウドインfraストラクチャを用いて、大規模な金融データに対して高いスケーラビリティとパフォーマンスを実証すること。

提案手法

• モデリング、シグナル生成、ポートフォリオ最適化、実行を統合した単一の DRL アgent として、金融分野における RLOps パラダイムを提唱する。
• 世代ごとに上位パフォーマンスを示すモデルを選択することで、段階的にアタインの性能を向上させる世代的進化メカニズムとアンサンブル戦略を採用する。
• GPU クラウド全体にわたる DRL トレーニングをスケジューリングするためのマルチレベル GPU マッピングを用い、効率的な並列処理とハードウェアに最適化された最適化を実現する。
• 並列処理のカプセル化、GPU 加速、ストレージ最適化を含む低レベルの GPU 最適化を適用し、高性能なトレーニングを実現する。
• 非同期並列処理を活用したトーナメントベースのアンサンブルトレーニング法を採用し、通信オーバーヘッドを低減し、スケーラビリティを向上させる。
• 10 年分の NASDAQ-100 分足データを対象に、大規模なトレーニングを実施するため、NVIDIA DGX SuperPOD クラウド上にフレームワークをデプロイする。

Figure 1. Software stack for an algorithmic trading process: conventional approach vs. RLOps in finance.

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで高パフォーマンスな DRL フレームワークは、定量的金融分野におけるトレーニング時間を著しく短縮するとともに、トレーディングパフォーマンスを向上させることができるか？
• RQ2 アンサンブル学習を組み合わせた世代的進化メカニズムは、単一アgenet トレーニングと比較して、DRL アgenet のパフォーマンスをどのように向上させるか？
• RQ3 GPU クラウドインfraストラクチャは、高頻度金融データの DRL トレーニングをどの程度高速化できるか？
• RQ4 RLlib や Stable Baseline 3、FinRL といった既存の主要 DRL ライブラリと比較して、FinRL-Podracer のパフォーマンスと効率性はどの程度か？
• RQ5 大規模並列シミュレーションと分散トレーニングは、DRL ベースのトレーディングにおいて、新たなレベルの探索と市場ダイナミクスの理解を可能にするか？

主な発見

• FinRL-Podracer は、NASDAQ-100 分足データにおいて、RLlib や Stable Baseline 3、FinRL と比較して 12%–35% の高い年間リターンを達成した。
• フレームワークは、ベースラインの DRL ライブラリと比較して、シャープレシオを 0.1–0.6 ポints 向上させた。
• RLlib と比較して、トレーニング時間を 3× から 7× 短縮した。FinRL-Podracer は 80 個の A100 GPU を使用して、800 秒で累積リターン 4.0 を達成した。
• 80 個の A100 GPU を使用した場合、10 年分の NASDAQ-100 分足データに対して、わずか 10 分間でトレーディングアgenet のトレーニングを完了させ、高いスケーラビリティを示した。
• 世代的進化メカニズムは、個々のトレーニングランを著しく上回り、初代の 10 個の独立したアgenet と比較して、進化曲線（太い緑色の線）が顕著に優れたパフォーマンスを示した。
• フレームワークは強力なスケーラビリティを示し、GPU 数が増加するにつれて性能が一貫して向上した。一方、RLlib はより多くの GPU を使用しても、ほとんどスループットの向上が見られなかった。

Figure 2. Overview of FinRL-Podracer that has three layers: trading task layer, evolution layer and training layer.