[論文レビュー] Deep Hedging

H. Bühler, Lukas Gonon+2 more|arXiv (Cornell University)|Feb 8, 2018

Stochastic processes and financial applications参考文献 15被引用数 6

ひとこと要約

この論文は、取引コストや流動性制約などの現実の市場摩擦を考慮したデリバティブポートフォリオのヘッジを最適化する強化学習フレームワーク、Deep Hedgingを導入する。非線形な凸リスク測度を扱えるように深層強化学習を活用することで、古典的な完全市場戦略ですら、ポートフォリオサイズに伴う計算コストの増大が最小限である高次元設定においても、優れたヘッジパフォーマンスを達成する。

ABSTRACT

We present a framework for hedging a portfolio of derivatives in the presence of frictions such as transaction costs, impact, liquidity constraints or risk limits using modern deep reinforcement machine learning methods. We discuss how standard reinforcement learning methods can be applied to non-linear reward structures, i.e. in our case convex risk measures. As a general contribution to the use of deep learning for stochastic processes, we also show that the set of constrained trading strategies used by our algorithm is large enough to $\epsilon$-approximate any optimal solution. Our algorithm can be implemented efficiently even in high-dimensional situations using modern machine learning tools. Its structure does not depend on specific dynamics, and generalizes across hedging instruments including the use of liquid derivatives. Its computational performance is largely invariant in the size of the portfolio as it depends mainly on the number of hedging instruments available. We illustrate our approach by showing the effect on hedging under transaction costs in a synthetic driven by the Heston model, where we outperform the standard complete market solution.

研究の動機と目的

• 取引コスト、市場インパクト、流動性制約などの現実の市場摩擦を考慮した、強固なヘッジフレームワークの開発。
• 非線形報酬構造、特に金融リスク管理で一般的な凸リスク測度に、深層強化学習を適用すること。
• アルゴリズムのトレーディング戦略が任意の最適解をε近似可能であることを保証し、理論的収束を保証すること。
• ヘッジインスツルメントの数に応じて効率的にスケーリングされるように設計し、高次元の応用を可能にすること。
• モデル固有の再設定を必要とせず、液体なデリバティブを含むさまざまなヘッジインスツルメントに一般化できること。

提案手法

• フレームワークは、連続時間における最適ヘッジポリシーを学習するための深層強化学習を採用し、VaRや予想ショートフォールなどの凸リスク測度を直接最適化する。
• ニューラルネットワークポリシーを用いて市場状態を取引行動にマッピングし、複雑な制約下でも柔軟で非線形な意思決定を可能にする。
• 非線形的かつ非凸的なリスク目的を効果的に扱えるように、凸リスク測度からの報酬信号を用いてアルゴリズムを訓練する。
• 制約付きトレーディング戦略の集合が、任意の最適解をε近似可能であることを保証し、理論的収束保証を提供する。
• 計算コストは主にヘッジインスツルメントの数に依存し、基礎資産の数とは無関係であるため、高次元ポートフォリオへの効率的導入が可能である。
• アプローチはモデルに依存せず、Hestonの確率的ボラティリティモデルのような異なる基礎動態に対しても再トレーニングなしに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、凸リスク指標のような非線形リスク測度の下で、ヘッジ戦略を効果的に最適化できるか？
• RQ2 取引コストやその他の市場摩擦の下で、アルゴリズムは最適ヘッジ戦略をどれほどよく近似できるか？
• RQ3 高次元のデリバティブポートフォリオにおいて、この手法は計算効率とスケーラビリティを維持するか？
• RQ4 モデル固有の再設定を必要とせず、液体なデリバティブを含むさまざまなヘッジインスツルメントに一般化できるか？
• RQ5 取引コストが存在する状況において、Deep Hedgingのパフォーマンスは古典的な完全市場ヘッジ戦略と比べてどうか？

主な発見

• 取引コストを伴うHestonモデル設定において、Deep Hedgingフレームワークは標準的な完全市場ヘッジソリューションを上回り、優れたリスク調整パフォーマンスを示した。
• アルゴリズムは任意の最適ヘッジ戦略をε近似可能であり、理論的堅牢性および収束特性の妥当性を確認した。
• ポートフォリオサイズが増大しても、計算パフォーマンスは安定的かつ効率的であり、主にヘッジインスツルメントの数に依存してスケーリングされる。
• 液体なデリバティブを含むさまざまなヘッジインスツルメントに一般化可能であり、モデル固有の修正を必要としない。
• 深層強化学習の使用により、金融リスク管理で一般的な非線形凸リスク測度の効果的最適化が可能になった。
• 現実の市場摩擦、たとえば取引コストや流動性制約の下でも、合成Hestonモデル実験において、従来手法を上回る強力なパフォーマンスを維持した。