[論文レビュー] AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks

Jingyuan Wang, Yang Zhang+3 more|RePEc: Research Papers in Economics|Jul 24, 2019

Stock Market Forecasting Methods被引用数 14

ひとこと要約

AlphaStockは、解釈可能な深層注意ネットワークを統合した強化学習ベースの投資戦略を提案する。この戦略は、株式市場におけるリスクとリターンのバランスを図るために、資産間の関係をモデル化し、長期的成長性が高く、ボラティリティが低く、内在的価値が高く、最近の割安さが顕著な銘柄に注目することで、米国および中国市場で既存の戦略を上回る性能を発揮し、解釈可能性と頑健性が向上している。

ABSTRACT

Recent years have witnessed the successful marriage of finance innovations and AI techniques in various finance applications including quantitative trading (QT). Despite great research efforts devoted to leveraging deep learning (DL) methods for building better QT strategies, existing studies still face serious challenges especially from the side of finance, such as the balance of risk and return, the resistance to extreme loss, and the interpretability of strategies, which limit the application of DL-based strategies in real-life financial markets. In this work, we propose AlphaStock, a novel reinforcement learning (RL) based investment strategy enhanced by interpretable deep attention networks, to address the above challenges. Our main contributions are summarized as follows: i) We integrate deep attention networks with a Sharpe ratio-oriented reinforcement learning framework to achieve a risk-return balanced investment strategy; ii) We suggest modeling interrelationships among assets to avoid selection bias and develop a cross-asset attention mechanism; iii) To our best knowledge, this work is among the first to offer an interpretable investment strategy using deep reinforcement learning models. The experiments on long-periodic U.S. and Chinese markets demonstrate the effectiveness and robustness of AlphaStock over diverse market states. It turns out that AlphaStock tends to select the stocks as winners with high long-term growth, low volatility, high intrinsic value, and being undervalued recently.

研究の動機と目的

• 深層学習ベースの定量的取引戦略におけるリスクとリターンのバランスの取りにくさに取り組む。
• 選択バイアスを回避し、ポートフォリオ構築を改善するため、資産間の相関関係をモデル化する。
• 金融分野における深層強化学習モデルの解釈可能性を高め、「ブラックボックス問題」を克服する。
• 基本的要因と技術的要因に基づいて、勝者と敗者を特定する戦略を開発する。
• 米国および中国株式市場における多様な市場環境下でも、強固なパフォーマンスを示すことを実証する。

提案手法

• 個々の銘柄からの複数時系列表現を抽出するために、履歴状態を備えたLSTM（LSTM-HA）ネットワークを採用する。
• ポートフォリオ全体における相対的株価モメンタムを捉えるために、資産間の依存関係をモデル化するクロスアセット注意ネットワーク（CAAN）を導入する。
• リスク調整リターンを最適化するためのシャープレシオ指向の強化学習フレームワークを設計する。
• 注意メカニズムから学習された「勝者スコア」に基づいて、投資ウェイトを割り当てるポートフォリオジェネレータを活用する。
• 特徴量の重要度と注意重みを測定することで、モデル意思決定の解釈性を高める感度分析手法を適用する。
• 歴史的株価データ、財務データ、マクロ経済データを統合して、エンドツーエンドでモデルを学習し、累積シャープレシオを最大化する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な注意メカニズムを備えた深層強化学習モデルは、定量的取引においてリスクとリターンのバランスを効果的に実現できるか？
• RQ2 資産間の関係をモデル化することで、個別銘柄中心の戦略と比較して、ポートフォリオパフォーマンスがどのように向上するか？
• RQ3 深層RLモデルにおける注意メカニズムが、投資意思決定における解釈可能なインサイトをどの程度提供できるか？
• RQ4 提案されたAlphaStock戦略は、異なる市場環境下でも、従来の手法および深層学習ベースのベンチマークを上回る性能を示すか？
• RQ5 モデルは、勝者・敗者を特定する際、成長性、ボラティリティ、内在的価値といったどの株式特性を優先的に重視しているか？

主な発見

• AlphaStockは、シャープレシオおよび累積リターンの観点で、従来のモメンタム戦略および深層学習ベースのRLモデルを含むベースライン戦略を、長期にわたる米国および中国株式市場データにおいて顕著に上回った。
• モデルは一貫して、長期的成長性が高く、ボラティリティが低く、内在的価値が高く、最近の割安さが顕著な銘柄を上位の投資候補として選定した。
• クロスアセット注意ネットワークは、銘柄間の関係を効果的に捉え、選択バイアスを低減させ、ポートフォリオの分散化を改善した。
• 感度分析の結果、モデルの意思決定は解釈可能であり、注意重みが価格モメンタムや基本的強度といった重要な財務要因を明確に示していた。
• AlphaStockは、ストロング市場、ベア市場、 sideways 市場を含む多様な市場状態において、頑健なパフォーマンスを示し、優れた一般化能力を示した。
• 強化学習フレームワーク内にシャープレシオ最適化を統合したことで、リターン最大化のみを目的としたアプローチと比較して、優れたリスク調整パフォーマンスが達成された。