[論文レビュー] Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning

Wonsup Shin, Seok-Jun Bu+1 more|arXiv (Cornell University)|Sep 7, 2019

Financial Markets and Investment Strategies被引用数 7

ひとこと要約

本論文では、調整可能な欲張り度合いハイパーパrameterを備えた新規のターゲット方策を用いて利益最大化とリスク制御のバランスを取ることで、低リスクのポートフォリオ運用を最適化する深層強化学習ベースの取引エージェントを提案する。暗号通貨データ上で評価された結果、従来手法よりも低いリスクで1,800％のリターンを達成し、高いボラティリティと短い訓練期間の下でも頑健な性能を示した。

ABSTRACT

The autonomous trading agent is one of the most actively studied areas of artificial intelligence to solve the capital market portfolio management problem. The two primary goals of the portfolio management problem are maximizing profit and restrainting risk. However, most approaches to this problem solely take account of maximizing returns. Therefore, this paper proposes a deep reinforcement learning based trading agent that can manage the portfolio considering not only profit maximization but also risk restraint. We also propose a new target policy to allow the trading agent to learn to prefer low-risk actions. The new target policy can be reflected in the update by adjusting the greediness for the optimal action through the hyper parameter. The proposed trading agent verifies the performance through the data of the cryptocurrency market. The Cryptocurrency market is the best test-ground for testing our trading agents because of the huge amount of data accumulated every minute and the market volatility is extremely large. As a experimental result, during the test period, our agents achieved a return of 1800% and provided the least risky investment strategy among the existing methods. And, another experiment shows that the agent can maintain robust generalized performance even if market volatility is large or training period is short.

研究の動機と目的

• リターンを重視するがリスク制御を軽視する既存のポートフォリオ管理手法のギャップを埋めるため。
• 金融市場において利益を最大化すると同時にリスクを最小化する自律的な取引エージェントを開発するため。
• 調整可能な欲張り度合いハイパーパrameterを備えた新しいターゲット方策を導入し、エージェントが低リスクの取引行動を学習可能にするため。
• 市場ダイナミクスの豊富なテストベッドとしての高ボラティリティな暗号通貨データ上でエージェントのパフォーマンスを検証するため。
• 短い訓練期間および高い市場ボラティリティの下でも一般化の頑健性を保証するため。

提案手法

• エージェントは、歴史的価格データから最適なポートフォリオ割当戦略を深層強化学習によって学習する。
• 新規のターゲット方策が導入され、最適な行動に対する欲張り度合いを制御するハイパーパrameterを介してリスク志向に基づいた行動選択を調整する。
• 連続する金融時系列における行動価値関数の近似に、深層Qネットワーク（DQN）アーキテクチャを採用する。
• 環境は、取引コストとリスク調整後のリターンを報酬として含むポートフォリオ再バランスをシミュレートするように設計されている。
• 学習の安定化のため、経験再生とターゲットネットワーク技術が訓練プロセスに組み込まれている。
• 報酬関数は累積的利益とリスク制御を統合しており、リスクは分散または下側リスクデバイエーションによってペナルティが課される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、ポートフォリオ管理において利益最大化とリスク最小化のバランスを効果的に取ることができるか？
• RQ2 調整可能な欲張り度合いを備えた本稿で提案するターゲット方策は、標準的なDQNアプローチと比較してリスク制御をどのように改善するか？
• RQ3 高い市場ボラティリティや限られた訓練データ下でもエージェントは高いパフォーマンスを維持できるか？
• RQ4 暗号通貨市場において、エージェントのリスク調整後リターンは既存手法と比較してどうなるか？
• RQ5 エージェントは、変動する市場状況や訓練期間の違いに対し、どの程度一般化できるか？

主な発見

• 提案されたエージェントは、テスト期間中に累積リターン1,800％を達成し、収益性において既存手法を著しく上回った。
• 比較対象のすべての手法と比較して、エージェントは最低のリスク露出を示し、効果的なリスク制御を確認した。
• 高い市場ボラティリティ下でも、エージェントは安定的かつ一貫したパフォーマンスを維持した。これは、頑健性を示している。
• 短い訓練期間にもかかわらず、エージェントは良好な一般化を示し、限られたデータに対しても高い適応性を示した。
• 調整可能な欲張り度合いハイパーパrameterを備えた新しいターゲット方策の統合により、リスクに配慮した学習が強化され、最終的なパフォーマンスが向上した。
• 結果から、深層強化学習を用いてリスク制御と収益最大化を統合することは、現実の金融データにおいて実現可能かつ効果的であると確認された。