[論文レビュー] Model-Free Reinforcement Learning for Financial Portfolios: A Brief Survey

Yoshiharu Sato|arXiv (Cornell University)|Apr 9, 2019

Stock Market Forecasting MethodsDecision Sciences被引用数 18

ひとこと要約

本稿は、ポートフォリオリバランスを離散時間のマルコフ決定過程（MDP）として定式化することで、モデルフリー強化学習（RL）をファイナンスにおけるポートフォリオ最適化の普遍的フレームワークとして提案する。Kelly基準とリスクパリティが特定の条件下で平均分散最適化に還元されることを示し、資産ダイナミクスのモデル化を必要とせずに最適な資産ウェイトを学習可能であることを示す。主な貢献は、実世界のRL導入における未解決の課題を同定することにある。

ABSTRACT

Financial portfolio management is one of the problems that are most frequently encountered in the investment industry. Nevertheless, it is not widely recognized that both Kelly Criterion and Risk Parity collapse into Mean Variance under some conditions, which implies that a universal solution to the portfolio optimization problem could potentially exist. In fact, the process of sequential computation of optimal component weights that maximize the portfolio's expected return subject to a certain risk budget can be reformulated as a discrete-time Markov Decision Process (MDP) and hence as a stochastic optimal control, where the system being controlled is a portfolio consisting of multiple investment components, and the control is its component weights. Consequently, the problem could be solved using model-free Reinforcement Learning (RL) without knowing specific component dynamics. By examining existing methods of both value-based and policy-based model-free RL for the portfolio optimization problem, we identify some of the key unresolved questions and difficulties facing today's portfolio managers of applying model-free RL to their investment portfolios.

研究の動機と目的

• ポートフォリオ最適化をマルコフ決定過程（MDP）として再定式化し、モデルフリー強化学習を可能にする。
• Kelly基準やリスクパリティといった代表的なポートフォリオ戦略が、特定の条件下でどのように平均分散最適化に還元されるかを調査する。
• 実世界のポートフォリオマネジメントへのモデルフリーRLの適用における主な未解決課題を同定する。
• ポートフォリオ最適化に適した価値ベースおよびポリシー基地のモデルフリーRL手法をサーベイする。
• 資産ダイナミクスの明示的知識が不要な普遍的で適応可能なポートフォリオ戦略の構築に基盤を提供する。

提案手法

• 状態を市場状況、行動を資産ウェイト、報酬をポートフォリオリターンとする離散時間MDPとして、ポートフォリオリバランスを定式化する。
• リスク予算内での期待リターンを最大化するための成分ウェイト最適化を、確率的最適制御問題として再定式化する。
• 価値ベースのRL手法（例：Q学習の変種）を用いて、ポートフォリオウェイトの最適行動価値関数を推定する。
• ポリシー基地のRL手法（例：REINFORCE、アクター・クリティック）を用いて、ウェイト割り当てのポリシーを直接最適化する。
• 資産リターンダイナミクスの明示的モデル化を必要とせず、歴史的市場データを用いてRLエージェントを訓練する。
• シャープレシオ、累積リターン、リスク調整後パフォーマンスといった標準的なポートフォリオ指標を用いてパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 Kelly基準およびリスクパリティ戦略が、どのような条件下で平均分散最適化に還元されるか。
• RQ2 資産ダイナミクスの事前知識がなくても、モデルフリーRLが最適なポートフォリオウェイトを効果的に学習できるか。
• RQ3 実世界のポートフォリオマネジメントへのモデルフリーRLの導入における主な実用的課題は何か。
• RQ4 価値ベースとポリシー基地のRL手法は、ポートフォリオ最適化において性能と安定性の面でどのように比較されるか。
• RQ5 現在のRLアプローチが、取引コスト、市場インパクト、非定常市場に対処する際に抱える制限は何か。

主な発見

• 特定の仮定の下で、Kelly基準とリスクパリティ戦略が平均分散最適化に還元されることを示し、統一的な理論的基盤を示唆する。
• MDPとして定式化することで、モデルフリーRLをポートフォリオ最適化に適用可能となり、資産ダイナミクスのモデル化を不要にする。
• 価値ベースおよびポリシー基地のRL手法の両方が有望であるが、特にポリシー基地のアプローチは、ポートフォリオ設定においてより優れたサンプル効率と安定性を示すことが多い。
• 理論的利点があるものの、実用的導入にはハイパーパramータへの感受性、報酬の形状調整、市場レジームシフトへのロバストネスといった課題が伴う。
• 一般化の欠如とトレーニングにおける高い分散性が、実世界におけるポートフォリオマネジメントにおけるRLの応用に向けた主な未解決課題のままである。
• 特定の市場レジームにおいて一貫して従来のベンチマークを上回るRL手法は存在せず、適応的またはハイブリッドなアプローチの必要性が示唆される。