[論文レビュー] TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution

Karush Suri, Xiao Qi Shi+2 more|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

TradeR は、2019年の新型コロナウイルス感染症による株式市場の暴落のような急激な市場イベントにおける崩壊的損失および驚きの最小化を扱う、高頻度取引のための階層的ディープ強化学習フレームワークを提案する。エネルギーに基づく内発的動機付けスキームと驚き価値関数を統合することで、35種のS&P500株式においてリスクを低減し、安定したパフォーマンスを達成する、強固で収益性の高い取引が実現される。

ABSTRACT

Advances in Reinforcement Learning (RL) span a wide variety of applications which motivate development in this area. While application tasks serve as suitable benchmarks for real world problems, RL is seldomly used in practical scenarios consisting of abrupt dynamics. This allows one to rethink the problem setup in light of practical challenges. We present Trade Execution using Reinforcement Learning (TradeR) which aims to address two such practical challenges of catastrophy and surprise minimization by formulating trading as a real-world hierarchical RL problem. Through this lens, TradeR makes use of hierarchical RL to execute trade bids on high frequency real market experiences comprising of abrupt price variations during the 2019 fiscal year COVID19 stock market crash. The framework utilizes an energy-based scheme in conjunction with surprise value function for estimating and minimizing surprise. In a large-scale study of 35 stock symbols from the S&P500 index, TradeR demonstrates robustness to abrupt price changes and catastrophic losses while maintaining profitable outcomes. We hope that our work serves as a motivating example for application of RL to practical problems.

研究の動機と目的

• 実世界の取引シナリオにおける強化学習の実用的課題、特に崩壊的損失および驚きの最小化に取り組む。
• 急激な市場ダイナミクス下でも安定的かつ収益性の高い取引実行を可能にする階層的強化学習フレームワークを開発する。
• エネルギーに基づくスキームと驚き価値関数を用いた内発的動機付けを組み込み、リスク回避型意思決定を促進する。
• 2019年の新型コロナウイルス感染症市場崩壊期の実際の高頻度市場データを用いて、フレームワークを評価する。
• ホールドアクションと内発的動機付けが、人間の取引行動に類似した行動を模倣する有効性を示す。

提案手法

• TradeR は、最適な取引数量を推定する低レベルの注文ポリシーと、現在の市場状態に基づいて取引を実行する高レベルの入札ポリシーからなる二段階の階層的ポリシーを採用する。
• エネルギーに基づく内発的動機付けスキームがリアルタイムで驚きを推定し、エージェントが予期しない市場ショックを最小化できるようにする。
• 驚き価値関数は内発的報酬信号として機能し、エージェントが高驚き状態を避けて壊滅的損失を低減するように導く。
• フレームワークは、2019年の市場崩壊期における35種のS&P500株式の1分間の高頻度データを用いて訓練され、関数近似にはディープQネットワークが使用される。
• エージェントに「ホールド」アクションが提供されており、市場状態が不利な際には取引を控えることができ、リスク管理が向上する。
• アブレーションスタディでは、内発的動機付けとホールドアクションがパフォーマンス、リスク、およびランダムシードごとの一貫性に与える影響が評価される。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習フレームワークは、急激な市場イベント時における驚きと壊滅的損失の最小化を効果的に実現できるか？
• RQ2 エネルギーに基づく内発的動機付けスキームを組み込むことで、高頻度取引における強度と収益性がどのように向上するか？
• RQ3 ホールドアクションの導入が、強化学習ベースの取引エージェントの安定性とリスク回避行動にどの程度寄与するか？
• RQ4 初期バランスの水準や市場ボラティリティの変動に応じて、TradeR フレームワークのパフォーマンスはどのように変化するか？
• RQ5 内発的動機付けスキームは、より多くの株式を購入し、より少ない株式を売却するといった、人間らしい取引パターンを促進するか？

主な発見

• TradeR は、2019年の市場崩壊期において、急激な価格変動が生じても35種のS&P500株式すべてで一貫した収益性と強度を示した。
• ホールドアクションの導入により、パフォーマンスの安定性が顕著に向上し、不利な状況下での不要な取引を回避できるようになった。
• エネルギーに基づく内発的動機付けスキームにより、売却株式数の合計が減少し、ランダムシード間での分散が低下し、よりリスク回避的行動が示された。
• 初期バランスの増加に伴いパフォーマンスが向上したため、トレーディング負荷の増大に応じたスケーラビリティと適応性が示された。
• アブレーションスタディにより、驚き価値関数とホールドアクションの両方が、壊滅的損失の最小化と安定したリターンの維持に不可欠であることが確認された。
• フレームワークはランダムシード間で安定した学習を達成しており、高リスク・高頻度環境におけるサンプル効率性と信頼性が示された。