[論文レビュー] Agent Inspired Trading Using Recurrent Reinforcement Learning and LSTM Neural Networks

David W. Lu|arXiv (Cornell University)|Jul 23, 2017

Complex Systems and Time Series Analysis被引用数 25

ひとこと要約

本稿では、Rawな為替レートデータから利益率が高くリスクに配慮した取引戦略を自律的に学習するため、長短記憶（LSTM）ネットワークを用いた再帰的強化学習エージェントを提案する。このシステムは方策勾配法を用いて長期的報酬を最適化し、非LSTMの対応手法を上回る性能を示し、特に下側リスク比を最適化することでボラティリティの高い市場でもドゥーダウンを低減する、優れたリスク調整リターンを達成する。

ABSTRACT

With the breakthrough of computational power and deep neural networks, many areas that we haven't explore with various techniques that was researched rigorously in past is feasible. In this paper, we will walk through possible concepts to achieve robo-like trading or advising. In order to accomplish similar level of performance and generality, like a human trader, our agents learn for themselves to create successful strategies that lead to the human-level long-term rewards. The learning model is implemented in Long Short Term Memory (LSTM) recurrent structures with Reinforcement Learning or Evolution Strategies acting as agents The robustness and feasibility of the system is verified on GBPUSD trading.

研究の動機と目的

• 試行錯誤による強化学習を通じて最適な戦略を学習する自律的取引エージェントの開発を目的とする。
• 次元の呪いや脆弱性といった価値関数ベースの強化学習の限界を克服するため、再帰的強化学習による直接的方策最適化を採用する。
• LSTMユニットとドロップアウト正則化を用いて再帰構造における訓練安定性を向上させ、勾配消失問題を緩和する。
• シャープレシオや下側リスク比といった異なるリスク調整指標を用いて性能を評価し、リスクに配慮した取引行動の有効性を検証する。
• 特に高ボラティリティおよび低流動性下でも実用的であることを確認するため、ライブ為替データを用いて実世界条件での実現可能性と頑健性を検証する。
• ドメイン固有のヒューリスティクスや手作業で設計された特徴量を一切用いずに、Rawな価格データに直接学習させるため、人為的介入を最小限に抑える。

提案手法

• 価値関数近似を避けるために、方策勾配法を用いてRawな価格系列から直接方策を学習する再帰的強化学習フレームワークを採用する。
• 金融時系列における時間的依存性をモデル化し、時間遡及誤差逆伝播における勾配消失問題を緩和するために、長短記憶（LSTM）ネットワークを用いる。
• 訓練中の一般化性能向上と過学習の低減を図るため、LSTM層内にドロップアウト正則化を適用する。
• 期待累積報酬の勾配上昇を用いてエージェントの方策を最適化し、目的関数としてシャープレシオおよび下側リスク比を定式化する。
• ノイズ多様で非定常なデータ下でも収束性と頑健性を検証するため、進化戦略およびNelder-Mead法といった導出不要最適化手法を併用する。
• GBPUSD為替レートデータを用いてエージェントを訓練および評価し、取引頻度とコストのバランスを取るためにバイアス項（b=1対b=5）の違いを比較する。

実験結果

リサーチクエスチョン

• RQ1 Rawな為替レートデータに直接学習させた再帰的強化学習エージェントは、手作業で設計された特徴量を一切用いずに、利益率が高く汎化可能な取引戦略を学習できるか？
• RQ2 LSTMネットワークの導入により、標準的なRNNと比較して、金融時系列取引における訓練安定性と性能がどのように向上するか？
• RQ3 ボラティリティの高い市場環境下で、下側リスク比（DDR）を最適化することで、シャープレシオを最適化する場合と比較して、より優れたリスク調整リターンが得られるか？
• RQ4 バイアス項（b）といったハイパーパrameterの値が、実世界の取引環境下における取引頻度と総合的利益にどのように影響を与えるか？
• RQ5 低流動性期間を含むさまざまな市場環境下でも、エージェントは頑健で人為的介入が最小限の性能を発揮できるか？

主な発見

• LSTMを用いた再帰的強化学習エージェントは、標準的なRNNベースラインと比較して、訓練終了時の総利益がより高かった。これは、金融時系列モデリングにおける長期記憶の有効性を示している。
• バイアス項b=5で学習した場合、平均取引期間が約6時間から約70時間にまで延長され、取引コストが著しく低下し、純利益が向上した。
• 下側リスク比（DDR）を最大化するように学習したエージェントは、ボラティリティの高い市場環境下で、シャープレシオ最適化エージェントと比較してドゥーダウンが低く、よりリスク回避的行動を示した。
• b=1で学習した場合の性能は初期重みよりも劣悪であり、最適でないハイパーパrameter選択が学習結果を悪化させる可能性があることを示しており、慎重なチューニングの重要性を強調している。
• ドメイン固有のヒューリスティクスを一切用いずに、実際の為替データ上で利益を上げる戦略をエージェントが自発的に発見した。これは、実際の為替データ上でのエンドツーエンド自己学習型ロボット取引エージェントの実現可能性を裏付けた。
• 実証的結果から、DDRのようなリスクに配慮した目的関数は下側リスク保護に有効であり、被動的またはリスク回避的投資戦略に適したエージェントであると示唆された。