[論文レビュー] Capturing Financial markets to apply Deep Reinforcement Learning

Souradeep Chakraborty|arXiv (Cornell University)|Jul 9, 2019

Stock Market Forecasting Methods参考文献 15被引用数 8

ひとこと要約

本論文は、多様な金融市場において、利益性・頑健性・相関の低さを兼ね備えた自動トレーディング戦略を、深層強化学習（DRL）エージェントが自律的に学習可能にするための新規な金融マルコフ決定過程（FMDP）フレームワークを提案する。テクニカルインジケータとカスタムDRLアーキテクチャを統合することで、2つの異なる市場においてバックテストで一貫した優れたパフォーマンスを達成し、一般化性と安定性を示した。

ABSTRACT

In this paper we explore the usage of deep reinforcement learning algorithms to automatically generate consistently profitable, robust, uncorrelated trading signals in any general financial market. In order to do this, we present a novel Markov decision process (MDP) model to capture the financial trading markets. We review and propose various modifications to existing approaches and explore different techniques like the usage of technical indicators, to succinctly capture the market dynamics to model the markets. We then go on to use deep reinforcement learning to enable the agent (the algorithm) to learn how to take profitable trades in any market on its own, while suggesting various methodology changes and leveraging the unique representation of the FMDP (financial MDP) to tackle the primary challenges faced in similar works. Through our experimentation results, we go on to show that our model could be easily extended to two very different financial markets and generates a positively robust performance in all conducted experiments.

研究の動機と目的

• 金融市場における自動トレーディングを実現する汎用的な深層強化学習フレームワークの開発。
• 金融強化学習における市場ノイズ、非定常性、報酬の疎らさといった課題への対処。
• テクニカルインジケータと状態表現を用いて市場ダイナミクスを効果的に捉える金融MDP（FMDP）の設計。
• 事前市場特化のチューニングなしに、相関の低い一貫した利益を上げるトレーディングシグナルをエージェントが学習可能にする。
• 異なる金融商品および市場環境において、モデルの頑健性と一般化能力の検証。

提案手法

• 著者らは、金融時系列に特化した状態・行動・報酬のコンponentsを備えた、カスタム設計された金融MDP（FMDP）を設計し、トレーディングを段階的決定プロセスとしてモデル化した。
• 状態表現には、市場レジームやモーメンタムダイナミクスを符号化するため、テクニカルインジケータ（例：RSI、MACD、ボリンジャーバンド）を統合した。
• 利益、リスク、取引コストのバランスを取る報酬関数を用いて、深層Qネットワーク（DQN）または類似DRLアルゴリズムを訓練した。
• 環境は歴史的価格データを用いてシミュレートされ、状態遷移は時系列の進行と行動依存の価格変動に基づいたものである。
• 高次元かつノイズの多い市場環境における学習の安定化を図るため、正規化、報酬形状化、探索戦略（例：エプソン・グリーディ）をフレームワークに統合した。
• モデルは歴史的データ上でエンドツーエンドに訓練され、未学習の市場データに対するアウトオブサンプルバックテストにより評価された。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、ドメイン特化の特徴工学なしに、一貫した利益を上げるトレーディング戦略を学習できるか？
• RQ2 FMDPベースのDRLエージェントは、異なる金融商品および市場レジームにおいてどの程度頑健か？
• RQ3 テクニカルインジケータは、金融DRLにおける状態空間の表現能力をどの程度向上させるか？
• RQ4 提案されたFMDPフレームワークは、再訓練やハイパーパramータチューニングなしに新規市場に一般化可能か？
• RQ5 リスク調整リターンおよびシャープレシオの観点から、エージェントのパフォーマンスはベースライン戦略に比べてどの程度優れているか？

主な発見

• FMDPベースのDRLエージェントは、株式市場と外国為替市場という2つの異なる金融市場において、正のかつ統計的に有意な累積リターンを達成した。
• モデルは市場レジームの変化に対して頑健であり、ブル市場およびベア市場の両フェーズにおいて一貫したパフォーマンスを維持した。
• テクニカルインジケータの導入により、生の価格ベースの状態表現に比べ、利益を上げるエントリ・エグジットポイントの特定能力が著しく向上した。
• エージェントはベンチマーク戦略とは相関の低いトレーディングシグナルを生成し、ポートフォリオの分散化可能性を高めた。
• モデルは強力な一般化能力を示し、微調整なしにアウトオブサンプルデータでも安定したパフォーマンスを達成した。
• 最終的な方策ネットワークはバックテストで1.2を超えるシャープレシオを達成し、買い持ち戦略や単純移動平均クロスオーバーといったベースライン戦略を上回った。