[論文レビュー] FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance

Xiao-Yang Liu, Hongyang Yang+5 more|arXiv (Cornell University)|Nov 19, 2020

Stock Market Forecasting Methods被引用数 8

ひとこと要約

FinRL は、定量的金融における自動株式取引を簡素化することを目的としたオープンソースの深層強化学習（DRL）ライブラリであり、事前設定済みの環境、最適化済みの DRL アルゴリズム（例：PPO、TD3）、および単一株式、複数株式、ポートフォリオ取引の再現性のあるチュートリアルを提供する。市場の摩擦（取引コスト、ボラティリティに基づくリスク制御）を統合することで、単一株式取引において最大 1.49 のシャープレシオを達成し、優れたリスク調整リターンを実現している。

ABSTRACT

As deep reinforcement learning (DRL) has been recognized as an effective approach in quantitative finance, getting hands-on experiences is attractive to beginners. However, to train a practical DRL trading agent that decides where to trade, at what price, and what quantity involves error-prone and arduous development and debugging. In this paper, we introduce a DRL library FinRL that facilitates beginners to expose themselves to quantitative finance and to develop their own stock trading strategies. Along with easily-reproducible tutorials, FinRL library allows users to streamline their own developments and to compare with existing schemes easily. Within FinRL, virtual environments are configured with stock market datasets, trading agents are trained with neural networks, and extensive backtesting is analyzed via trading performance. Moreover, it incorporates important trading constraints such as transaction cost, market liquidity and the investor's degree of risk-aversion. FinRL is featured with completeness, hands-on tutorial and reproducibility that favors beginners: (i) at multiple levels of time granularity, FinRL simulates trading environments across various stock markets, including NASDAQ-100, DJIA, S&P 500, HSI, SSE 50, and CSI 300; (ii) organized in a layered architecture with modular structure, FinRL provides fine-tuned state-of-the-art DRL algorithms (DQN, DDPG, PPO, SAC, A2C, TD3, etc.), commonly-used reward functions and standard evaluation baselines to alleviate the debugging workloads and promote the reproducibility, and (iii) being highly extendable, FinRL reserves a complete set of user-import interfaces. Furthermore, we incorporated three application demonstrations, namely single stock trading, multiple stock trading, and portfolio allocation. The FinRL library will be available on Github at link https://github.com/AI4Finance-LLC/FinRL-Library.

研究の動機と目的

• 定量的金融における初心者向けの高い入り口障壁を低減するため、株式取引に特化した包括的で初心者フレンドリーな DRL フレームワークを提供すること。
• DRLエージェントのトレーニングに伴う煩わしくエラーが発生しやすい開発プロセスを軽減するため、モジュラーで再利用可能なコンponentsを提供すること。
• 標準化された環境、アルゴリズム、評価指標を通じて、DRLに基づく取引戦略の再現性と透明性を確保すること。
• 取引コスト、市場流動性、リスク回避性といった実世界の取引制約（例：トゥルーレンスインデックスを用いたリスク管理）をサポートすること。
• 単一株式、複数株式、ポートフォリオアロケーションといった多様な取引シナリオにおいて、再現可能でエンドツーエンドのチュートリアルを通じて DRL の有効性を示すこと。

提案手法

• FinRL は、三層構造アーキテクチャを採用している：環境層は、価格、出来高、テクニカルインジケーターなどの特徴量を含む歴史的データを用いて、実際の株式市場（例：S&P 500、NASDAQ-100）をシミュレートする。
• エージェント層には、PPO、TD3、DDPG、SAC、A2C、DQN などの最先端の DRL アルゴリズムを統合し、金融取引タスクに最適化されたハイパーパramータを設定している。
• 報酬関数は標準化されており、シャープレシオや累積リターンといったリスク調整リターンを反映するように設計されており、方策学習を支援する。
• 取引コストやリスク回避性といった市場の摩擦は、金融トゥルーレンスインデックスを用いてモデル化されており、定義は $\text{turbulence}_{t} = (\mathbf{y}_t - \boldsymbol{\mu})\boldsymbol{\Sigma}^{-1}(\mathbf{y}_t - \boldsymbol{\mu})^\top$ である。ボラティリティが急上昇すると、リスク低減行動が発動する。
• 標準ベンチマークを用いた自動バックテストと評価が可能で、異なる戦略やアルゴリズム間の比較が可能である。
• Jupyter ノートブックのチュートリアルを通じて、単一株式、複数株式、ポートフォリオアロケーションの各タスクにおいて、環境設定、エージェントトレーニング、パフォーマンス分析のエンドツーエンドのガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 統合的で初心者フレンドリーな DRL ライブラリは、定量的金融における自動株式取引戦略の構築に伴う複雑さと開発時間を著しく低減できるか？
• RQ2 取引コストなどの現実的な市場の摩擦を組み込んだ場合、PPO や TD3 といった標準的な DRL アルゴリズムが、多様な市場インデックスにおいて実世界のバックテストでどの程度のパフォーマンスを示すか？
• RQ3 トゥルーレンスに基づくアクションスロットリングといったリスク回避メカニズムは、2020 年の新型コロナウイルスパンデミックのような市場不安定期に、どれほどロバストな行動を実現できるか？
• RQ4 FinRL ライブラリは、標準化されたコンponents を用いて、単一株式、多資産、ポートフォリオアロケーションといった異なる取引シナリオにおいて、再現可能で高性能な取引戦略を達成できるか？
• RQ5 取引コストと流動性制約を統合した場合、摩擦なしのベンチマークと比較して、DRLドリブンの取引エージェントのパフォーマンスと安定性はどのように変化するか？

主な発見

• PPO を用いた単一株式取引では、SPY（S&P 500 ETF）においてシャープレシオ 1.49 を達成し、市場ベンチマーク（S&P 500）のシャープレシオ 0.74 を上回った。
• ダウインデックス 30 銘柄を対象とした複数株式取引では、TD3 エージェントが年間リターン 21.40%、シャープレシオ 1.38 を達成し、ダウインデックス（10.61%）および最小分散ポートフォリオ（8.38%）を上回った。
• 多資産取引における DDPG エージェントは、初期資金 100 万ドルから最終的に 1,381,120 ドルのポートフォリオ価値を達成し、年間リターン 17.61%、シャープレシオ 1.03 を記録した。
• FinRL ライブラリは、事前構築済みのモジュラーコンponents と Jupyter ノートブックのチュートリアルを提供することで、開発のオーバーヘッドを著しく低減した。
• 複数のユースケースにおけるパフォーマンス評価から、取引コストやトゥルーレンス制御といった市場の摩擦を組み込んだ DRL エージェントは、ボラティリティの高い市場状況下でもよりロバストで現実的な行動を示した。
• ライブラリのモジュラー設計と標準化された評価フレームワークにより、アルゴリズム間の直接比較が可能となり、TD3 と PPO はリスク調整リターンの観点で一貫してベースライン戦略を上回った。