[論文レビュー] Deep Reinforcement Learning for Long-Short Portfolio Optimization

Gang Huang, Xiaohua Zhou+1 more|arXiv (Cornell University)|Dec 26, 2020

Financial Markets and Investment Strategies参考文献 22被引用数 8

ひとこと要約

本稿では、中国A株市場における長期・短期投資戦略最適化のための深層強化学習（DRL）フレームワークを提案する。動的ショートセリングメカニズムと平均シャープレート報酬を統合し、従来のロングオンリーポートフォリオ戦略と比較して、より優れたリスク調整リターンと低い最大下落率を達成している。バックテストにおいて一貫した超額収益を示している。

ABSTRACT

With the rapid development of artificial intelligence, data-driven methods effectively overcome limitations in traditional portfolio optimization. Conventional models primarily employ long-only mechanisms, excluding highly correlated assets to diversify risk. However, incorporating short-selling enables low-risk arbitrage through hedging correlated assets. This paper constructs a Deep Reinforcement Learning (DRL) portfolio management framework with short-selling mechanisms conforming to actual trading rules, exploring strategies for excess returns in China's A-share market. Key innovations include: (1) Development of a comprehensive short-selling mechanism in continuous trading that accounts for dynamic evolution of transactions across time periods; (2) Design of a long-short optimization framework integrating deep neural networks for processing multi-dimensional financial time series with mean Sharpe ratio reward functions. Empirical results show the DRL model with short-selling demonstrates significant optimization capabilities, achieving consistent positive returns during backtesting periods. Compared to traditional approaches, this model delivers superior risk-adjusted returns while reducing maximum drawdown. From an allocation perspective, the DRL model establishes a robust investment style, enhancing defensive capabilities through strategic avoidance of underperforming assets and balanced capital allocation. This research contributes to portfolio theory while providing novel methodologies for quantitative investment practice.

研究の動機と目的

• 従来のロングオンリーポートフォリオモデルの限界を是正し、リスク分散の向上と套利機会の拡大を目的としたショートセリングの統合。
• 継続的取引環境における変化する市場状況に動的に適応可能な、データ駆動型の強化学習ベースのフレームワークの開発。
• ロングおよびショートポジションへの戦略的資産配分を可能にしつつ、平均シャープレートを最適化することで、リスク調整リタームの向上。
• 中国A株市場の実データを用いたバックテストを通じて、フレームワークの頑健性と防御的性能の検証。

提案手法

• マルチディメンションの金融時系列データ（株価、ボラティリティ、相関係数など）を処理するため、深層Qネットワーク（DQN）または類似のDRLアーキテクチャを採用。
• 実際の取引制約および取引コストを考慮した、ルールベースの動的ショートポジションを実装するカスタムショートセリングメカニズムを導入。
• 報酬関数は、時間経過における平均シャープレートとして設計され、一貫したリスク調整リターンの達成を促進。
• エージェントがシミュレーテッド市場環境との試行錯誤的相互作用を通じて最適なポートフォリオウェイトを学習できるように、エンドツーエンドで訓練。
• 現実の取引条件を反映させるために、取引コストモデリングおよびポジション制約を統合。
• ロングおよびショートポジション間の柔軟な資産配分を可能にするために、連続的アクションスペースを採用し、相関資産の動的ヘッジを実現。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習モデルは、ショートセリングおよび取引コストを含む現実的な取引制約下でも、長期・短期ポジションを効果的に管理できるか？
• RQ2 動的ショートセリングの導入により、従来のロングオンリーポートフォリオ最適化と比較して、リスク調整リターンはどのように向上するか？
• RQ3 平均シャープレート報酬関数は、市場サイクル全体にわたり、ポートフォリオの安定性とパフォーマンスの一貫性をどの程度向上させるか？
• RQ4 中国A株データを用いたバックテストにおいて、DRLフレームワークは、従来のモデルと比較して最大下落率およびトランザクションコストの観点でどのように差をつけるか？

主な発見

• ショートセリングを統合したDRLモデルは、すべてのバックテスト期間において一貫した正のリターンを達成し、従来のロングオンリーポートフォリオ戦略を上回っている。
• 従来のアプローチと比較して、最大下落率が顕著に低く抑えられており、下落リスクに対する防御的性能が向上していることが示された。
• 下落傾向の資産を戦略的に回避し、バランスの取れた資産配分が、モデルの頑健な防御的投資スタイルの要因となっている。
• シャープレートの上昇とトランザクション効率の向上という証拠により、フレームワークが優れたリスク調整パフォーマンスを示していることが確認された。
• 動的ショートセリングメカニズムの統合により、相関資産の効果的なヘッジが可能となり、低リスクのアービタージュ機会が解禁された。
• 実証結果から、モデルが市場状態の変化に適応可能であり、変動性の変化する状況下でも安定したパフォーマンスを維持できることを確認した。