[論文レビュー] Deep Hedging: Learning to Remove the Drift under Trading Frictions with Minimal Equivalent Near-Martingale Measures

Hans Buehler, Phillip Murray+2 more|arXiv (Cornell University)|Nov 15, 2021

Stock Market Forecasting Methods被引用数 9

ひとこと要約

本稿では、取引コストを伴う市場シミュレータに対して、最小同値近martingale測度を構築する機械学習手法を提案し、統計的アービタージュのずれを除去することで、深層ヘッジのロバスト性を高めている。効用に基づくリスク中立的密度推定を用いることで、ヘッジ戦略がモデルのずれを搾取するのではなく、リスク管理にのみ集中することを保証し、推定誤差に対するロバスト性を著しく向上させる。

ABSTRACT

We present a machine learning approach for finding minimal equivalent martingale measures for markets simulators of tradable instruments, e.g. for a spot price and options written on the same underlying. We extend our results to markets with frictions, in which case we find "near-martingale measures" under which the prices of hedging instruments are martingales within their bid/ask spread. By removing the drift, we are then able to learn using Deep Hedging a "clean" hedge for an exotic payoff which is not polluted by the trading strategy trying to make money from statistical arbitrage opportunities. We correspondingly highlight the robustness of this hedge vs estimation error of the original market simulator. We discuss applications to two market simulators.

研究の動機と目的

• 市場シミュレータにおける統計的アービタージュが、取引依存の投機的行動を引き起こすため、深層ヘッジ戦略にずれをもたらす問題に対処すること。
• 取引コスト下での等価近martingale測度を構築するモデルに依存しない手法を開発し、純粋な取引戦略から正の期待リターンを得られないようにすること。
• 推定誤差への感受性を低減するために、統計的ずれの搾取を分離し、純粋なヘッジ行動に特化したリスク中立的測度に基づいて深層ヘッジポリシーを訓練すること。
• GAN や VAE のようなブラックボックスシミュレータに深層ヘッジを適用可能にするために、データ駆動型で効用に基づく方法によりリスク中立的ダイナミクスを導出すること。
• 導出された近martingale測度に基づいて訓練されたヘッジ戦略が、基礎となる市場シミュレータに対する微小な摂動に対して不変であることを示し、実運用への適合性を高めること。

提案手法

• この手法は、コストを差し引いた最終資産の期待効用を最大化することで、統計的測度 $\mathbb{P}$ の下で最適な取引戦略 $a^*$ と現金ポジション $y^*$ を計算するための効用ベース最適化を用いる。
• 新しい測度 $\mathbb{Q}^*$ を、Radon-Nikodym 微分 $\frac{d\mathbb{Q}^*}{d\mathbb{P}} := u'(y^* + \sum_t a^*_t \cdot DH_t - m_t(a^*_t))$ を用いて定義する。ここで $m_t$ は取引の限界コストを表す。
• $\mathbb{Q}^*$ の下では、任意の取引戦略の条件付き期待リターンが取引コストによって制約され、摩擦が存在する場合に統計的アービタージュが発生しないことを保証する。
• 取引コストがない場合、$\mathbb{Q}^*$ は等価 martingale 測度となる。摩擦がある場合、$\tilde{u}$-divergence に関して最小同値近martingale 測度となる。
• このアプローチはモデルに依存せず、特に GAN や VAE のようなブラックボックスモデルを含め、古典的アービタージュを含まないパスを生成する任意の市場シミュレータに適用可能である。
• この手法により、$\mathbb{Q}^*$ の下で深層ヘッジエージェントを訓練でき、結果として、統計的ずれの搾取ではなく、純粋なデリバティブリスクヘッジにのみ焦点を当てる戦略が得られる。

実験結果

リサーチクエスチョン

• RQ1 取引コストを伴う市場シミュレータに対して、機械学習ベースの手法が最小同値近martingale測度を構築可能か？
• RQ2 統計的アービタージュをシミュレート市場データから除去することで、ディープヘッジ戦略のロバスト性をどのように向上できるか？
• RQ3 期待リターンダイナミクスの推定誤差に対して、効用最大化によるリスク中立的測度に基づいて訓練されたディープヘッジが、どれほど感受性が低減するか？
• RQ4 得られた近martingale測度は、GAN ベースのモデルのような複雑な市場シミュレータの現実性を保ちつつ、ずれに基づく投機的行動を排除できるか？
• RQ5 真の市場分布がシミュレータの分布からわずかに逸れた場合、$\mathbb{Q}^*$ の下で訓練されたディープヘッジ戦略のパフォーマンスは、$\mathbb{P}$ の下で訓練された戦略と比べてどのように異なるか？

主な発見

• 導出された $\mathbb{Q}^*$ 測度の下で訓練されたディープヘッジ戦略は、$\mathbb{P}$ の下で訓練された戦略と比較して、著しく重い尾部を持つ損益分布を示さない。これは、モデルのずれに起因するリスク露出が低減していることを示している。
• 統計的アービタージュ成分を除去した後、$\mathbb{Q}^*$ の下で訓練された戦略と $\mathbb{P}$ の下で訓練された戦略の損益分布が一致する。これは、ずれ成分が成功裏に分離・除去されたことを確認している。
• 真の市場測度 $\tilde{\mathbb{P}}$ を相対エントロピー $H(\tilde{\mathbb{P}}|\mathbb{P}) \leq c$ で摂動させた場合、$\mathbb{Q}^*$ の下で訓練された戦略の損益は、$c = 0.5$ でさえもほぼ不変である。一方、$\mathbb{P}$ の下で訓練された戦略は著しく性能を低下させる。
• この手法により、$\mathbb{Q}^*$ の下でいかなる取引戦略も正の期待リターンを得ないことが保証され、Bid/Ask スプレッド下での近martingale 条件を満たし、統計的アービタージュが完全に排除される。
• 構築された $\mathbb{Q}^*$ は、$\tilde{u}$-divergence に関して、すべての同値（近）martingale 測度の中で最小であるため、情報理論的観点から最適性が保証される。
• このフレームワークは、GAN や VAE のようなブラックボックスシミュレータにも適用可能であり、明示的なモデルダイナミクスが不要なリスク中立的ディープヘッジを可能にする。