[論文レビュー] Reinforcement Learning for Portfolio Management

Angelos Filos|arXiv (Cornell University)|Sep 12, 2019

Stock Market Forecasting Methods参考文献 64被引用数 9

ひとこと要約

本稿では、多様な金融資産および市場において普遍的なポートフォリオ管理を実現するモデルフリー強化学習エージェント—特にDeep Soft Recurrent Q-Networks (DSRQN)とMixture of Score Machines (MSM)—を提案する。データ拡張および事前学習を活用することで、取引コストや非stationaryな市場状態下でも、最先端のモデルを上回る優れたパフォーマンスを達成し、年間累積リターンが最大9.2%高く、年間シャープレシオが13.4%高い結果を得た。

ABSTRACT

In this thesis, we develop a comprehensive account of the expressive power, modelling efficiency, and performance advantages of so-called trading agents (i.e., Deep Soft Recurrent Q-Network (DSRQN) and Mixture of Score Machines (MSM)), based on both traditional system identification (model-based approach) as well as on context-independent agents (model-free approach). The analysis provides conclusive support for the ability of model-free reinforcement learning methods to act as universal trading agents, which are not only capable of reducing the computational and memory complexity (owing to their linear scaling with the size of the universe), but also serve as generalizing strategies across assets and markets, regardless of the trading universe on which they have been trained. The relatively low volume of daily returns in financial market data is addressed via data augmentation (a generative approach) and a choice of pre-training strategies, both of which are validated against current state-of-the-art models. For rigour, a risk-sensitive framework which includes transaction costs is considered, and its performance advantages are demonstrated in a variety of scenarios, from synthetic time-series (sinusoidal, sawtooth and chirp waves), simulated market series (surrogate data based), through to real market data (S\&P 500 and EURO STOXX 50). The analysis and simulations confirm the superiority of universal model-free reinforcement learning agents over current portfolio management model in asset allocation strategies, with the achieved performance advantage of as much as 9.2\% in annualized cumulative returns and 13.4\% in annualized Sharpe Ratio.

研究の動機と目的

• 再訓練なしに異なる金融資産および市場間で一般化可能な、普遍的でモデルフリーの強化学習エージェントの開発。
• 低データ量、非stationary性、弱い歴史的結合性といったファイナンス時系列の課題に対して、データ拡張および事前学習を用いて対処。
• 取引コストや多様な市場環境を含むリスクセンシティブな環境における、これらのエージェントのパフォーマンスの評価。
• 合成データ、代替データ、および実市場データのすべてにおいて、提案されたエージェントを最先端のポートフォリオ最適化モデルと比較すること。

提案手法

• 逐次的アセットアロケーションのためのモデルフリー強化学習エージェントとして、Deep Soft Recurrent Q-Networks (DSRQN) および Mixture of Score Machines (MSM) を採用。
• 生成的手法によるデータ拡張を適用し、有効なトレーニングデータ量を増加させ、低データ環境における一般化性能を向上。
• リターンが希少なファイナンス時系列において、学習効率と収束性を向上させるための事前学習戦略を実装。
• 取引コストを強化学習の目的関数に明示的に組み込むリスクセンシティブなフレームワークを統合。
• S&P 500 や EURO STOXX 50 といった多様な金融ユニバースでエージェントを訓練し、未観測の資産や市場における一般化性能を評価。
• 正弦波、歯車状、チープ（chirp）などの合成時系列および代替データを用い、制御された非stationaryな条件下でのロバストネスを検証。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーの強化学習エージェントは、再訓練なしに異なる金融資産および市場間で一般化可能か？
• RQ2 データ拡張および事前学習は、低ボリュームのファイナンスリターンデータにおいて、どの程度パフォーマンスを向上させるか？
• RQ3 提案されたエージェントは、取引コストを含むリスクセンシティブな制約下で、最先端のモデルと比較してどの程度のパフォーマンスを示すか？
• RQ4 普遍的RLエージェントは、従来のモデルベースおよびモデルフリーのポートフォリオ最適化手法に比べて、どの程度のパフォーマンス優位性を示すか？
• RQ5 合成データ、代替データ、および実市場データにおいて、エージェントは累積リターンおよびシャープレシオの観点から、どの程度一般化できるか？

主な発見

• 提案されたモデルフリー強化学習エージェントは、最先端のポートフォリオ管理モデルを上回り、最大9.2%高い年間累積リターンを達成した。
• 年間シャープレシオが13.4%向上しており、優れたリスク調整後リターンを示している。
• S&P 500 や EURO STOXX 50 を含む異なる金融ユニバース間で、再訓練なしに効果的な一般化を示した。
• リスクセンシティブなフレームワークに取引コストを統合することで、ロバストネスと実世界への適用可能性が著しく向上した。
• データ拡張および事前学習戦略は、ファイナンス時系列におけるデータ不足問題を効果的に緩和し、学習の安定性とパフォーマンスを向上させた。
• 合成データ、代替データ、および実市場データのすべてにおいて一貫したパフォーマンス優位性が確認され、本手法のロバストネスと普遍性が裏付けられた。