[論文レビュー] PRUDEX-Compass: Towards Systematic Evaluation of Reinforcement Learning in Financial Markets

Shuo Sun, Molei Qin+2 more|arXiv (Cornell University)|Jan 14, 2023

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本論文は、利益性、リスク管理、普遍性、多様性、信頼性、説明可能性の6軸をカバーする17の指標を備えた、強化学習を用いた金融市場向けの体系的評価フレームワーク「PRUDEX-Compass」を紹介する。また、エキスパートの混合構造とリスクに配慮した強化学習を組み合わせた手法「AlphaMix+」を提案し、長期間の実世界データ上で、すべての軸において既存のFinRLベースラインを上回る性能を発揮する。さらに、信頼性の高いFinRL研究および実装を促進するためのオープンソースツールを公開する。

ABSTRACT

The financial markets, which involve more than $90 trillion market capitals, attract the attention of innumerable investors around the world. Recently, reinforcement learning in financial markets (FinRL) has emerged as a promising direction to train agents for making profitable investment decisions. However, the evaluation of most FinRL methods only focuses on profit-related measures and ignores many critical axes, which are far from satisfactory for financial practitioners to deploy these methods into real-world financial markets. Therefore, we introduce PRUDEX-Compass, which has 6 axes, i.e., Profitability, Risk-control, Universality, Diversity, rEliability, and eXplainability, with a total of 17 measures for a systematic evaluation. Specifically, i) we propose AlphaMix+ as a strong FinRL baseline, which leverages mixture-of-experts (MoE) and risk-sensitive approaches to make diversified risk-aware investment decisions, ii) we evaluate 8 FinRL methods in 4 long-term real-world datasets of influential financial markets to demonstrate the usage of our PRUDEX-Compass, iii) PRUDEX-Compass together with 4 real-world datasets, standard implementation of 8 FinRL methods and a portfolio management environment is released as public resources to facilitate the design and comparison of new FinRL methods. We hope that PRUDEX-Compass can not only shed light on future FinRL research to prevent untrustworthy results from stagnating FinRL into successful industry deployment but also provide a new challenging algorithm evaluation scenario for the reinforcement learning (RL) community.

研究の動機と目的

• 既存のFinRL手法における体系的評価の欠如に起因する、利益指標に偏った評価を是正し、リスク、信頼性、説明可能性を無視する問題に対処すること。
• 複数の重要な金融パフォーマンス次元にわたる、公平かつ信頼性のあるFinRLアルゴリズムの比較を可能にする包括的なベンチマークの構築。
• 実世界の取引戦略を模倣し、すべての評価軸でマーケット平均を上回る性能を発揮する、強固で強力なベースライン（AlphaMix+）の提供。
• 再現可能で産業用途に即したFinRL研究を促進するため、オープンソースのデータセット、コード、環境、可視化ツールの公開。

提案手法

• 利益性、リスク管理、普遍性、多様性、信頼性、説明可能性の6軸を含む、17の異なるパフォーマンス指標を備えた評価フレームワーク「PRUDEX-Compass」の設計。
• 動的なポリシー特化を可能にするエキスパートの混合構造を用い、より高い耐性を実現するリスク感受型ベルマンバックアップを組み込んだ、深層強化学習エージェント「AlphaMix+」の提案。
• 標準化されたポートフォリオ管理環境の実装と、15年以上にわたる4つの長期実世界金融データセットとの統合。
• 8種類のFinRL手法（AlphaMix+を含む）を、複数の取引タスクに対して体系的に評価し、フレームワークの有効性と耐性を検証。
• 再現可能性とコミュニティの採用を支援する可視化ツールキットと、パブリックGitHubリポジトリの開発。
• ボラティリティに配慮した学習と多目的強化学習を補助技術として統合し、モデルの極端な市場状況への認識能力を向上。

Figure 1 : Illustration of our FinRL methods evaluation benchmark PRUDEX-Compass. The inner star plot provides a visual indication of the relative strength of different FinRL methods in terms of six axes. A mark on the star plot’s inner circle suggests the market average 3 3 3 Market average indicat

実験結果

リサーチクエスチョン

• RQ1 既存のFinRL手法は、利益性以外の次元、例えばリスク管理、信頼性、説明可能性において、どのように評価されるか？
• RQ2 1つのFinRLエージェントが、ボラティリティの高いまたは変化する市場環境下でも、PRUDEX-Compassの6軸すべてで優れた性能を発揮できるか？
• RQ3 AlphaMix+は、リスク調整後リターン、適応性、解釈可能性の観点から、既存のFinRLベースラインをどの程度上回るか？
• RQ4 PRUDEX-Compassは、バックテストでのみ良好な性能を示すが、実世界では過剰適合や一般化能力の欠如を示すFinRLモデルを、どの程度効果的に特定できるか？
• RQ5 このフレームワークは、非RL手法や金融分野におけるより広範な機械学習応用にも一般化可能か？

主な発見

• AlphaMix+は、PRUDEX-Compassの6軸すべてにおいて、他の7つのFinRL手法を大きく上回り、利益性、リスク管理、説明可能性の面で優れた性能を発揮した。
• 評価結果から、SAC や Imitation Learning（IMIT）などの既存のFinRL手法は、ブラックスワンイベント時に深刻なドローダウンを経験する一方で、バックテストでは良好なリターンを示すことが判明した。
• PRUDEX-Compassは、利益志向のエージェントにおける過剰適合と耐性の欠如を効果的に同定し、実世界への導入前に信頼性の低い手法をふるいにかける価値があることを示した。
• フレームワークは、市場のレジームシフトに伴うパフォーマンス低下の検出を可能にし、実世界応用における普遍性と信頼性の重要性を浮き彫りにした。
• データセット、コード、可視化ツールのオープンソース公開により、再現可能性とベンチマークの実施がすでに促進されており、AlphaMix+は今後のFinRL研究の新たな強力なベースラインとして機能している。
• アブレーションスタディの結果、AlphaMix+の優れた性能は、エキスパートの混合構造とリスク感受型ベルマンバックアップの両方のコンponentsに起因していることが確認された。

Figure 2 : Workflow of real-world trading firms.