[논문 리뷰] Deep Hedging: Learning to Remove the Drift under Trading Frictions with Minimal Equivalent Near-Martingale Measures

Hans Buehler, Phillip Murray외 2명|arXiv (Cornell University)|2021. 11. 15.

Stock Market Forecasting Methods인용 수 9

한 줄 요약

이 논문은 거래 비용이 존재하는 시장 시뮬레이터에서 통계적 아웃리어 드리프트를 제거함으로써 강건한 딥 헤징을 가능하게 하는 최소 동치 근사 마링갈 측도를 구성하기 위한 기계학습 방법을 제안한다. 유틸리티 기반의 위험 중립 밀도 추정을 통해 헤징 전략이 모델 드리프트를 이용하는 것보다 순수한 리스크 관리에만 집중하도록 보장하여 추정 오차에 대한 강건성을 크게 향상시킨다.

ABSTRACT

We present a machine learning approach for finding minimal equivalent martingale measures for markets simulators of tradable instruments, e.g. for a spot price and options written on the same underlying. We extend our results to markets with frictions, in which case we find "near-martingale measures" under which the prices of hedging instruments are martingales within their bid/ask spread. By removing the drift, we are then able to learn using Deep Hedging a "clean" hedge for an exotic payoff which is not polluted by the trading strategy trying to make money from statistical arbitrage opportunities. We correspondingly highlight the robustness of this hedge vs estimation error of the original market simulator. We discuss applications to two market simulators.

연구 동기 및 목표

• 시장 시뮬레이터에서 통계적 아웃리어가 발생함으로써 드리프트 기반의 사기적 거래 행동을 유도하는 문제를 해결하기 위해.
• 거래 비용이 존재하는 상황에서 모델에 종속되지 않는 방법으로 동치 근사 마링갈 측도를 구성하여 순수한 거래 전략으로부터 양의 기대 수익이 발생하지 않도록 보장하기 위해.
• 통계적 드리프트를 악용하지 않고 순수한 헤징 행동만을 고려하는 위험 중립 측도를 사용하여 딥 헤징 정책의 강건성을 향상시키기 위해.
• GAN이나 VAE와 같은 블랙박스 시뮬레이터에 딥 헤징을 적용할 수 있도록 데이터 기반의 유틸리티 기반 방법을 제공하여 위험 중립 동역학을 유도하기 위해.
• 기본 시장 시뮬레이터에 대한 미세한 변형에 대해 유도된 근사 마링갈 측도 기반 헤징 전략이 불변성을 유지함으로써 실제 적용 가능성 향상

제안 방법

• 이 방법은 통계적 측도 $\mathbb{P}$ 하에서 터미널 자산의 기대 유틸리티를 최대화함으로써 비용을 고려한 최적의 거래 전략 $a^*$와 현금 포지션 $y^*$를 산출하기 위해 유틸리티 기반 최적화를 사용한다.
• 거래 비용의 경계 $m_t$를 고려하여 Radon-Nikodym 미분을 통해 새로운 측도 $\mathbb{Q}^*$를 정의한다: $\frac{d\mathbb{Q}^*}{d\mathbb{P}} := u'(y^* + \sum_t a^*_t \cdot DH_t - m_t(a^*_t))$.
• $\mathbb{Q}^*$ 하에서 어떤 거래 전략의 조건부 기대 수익은 거래 비용에 의해 제약을 받으며, 이는 비용이 존재하는 상황에서 통계적 아웃리어가 발생하지 않도록 보장한다.
• 거래 비용이 없는 경우 $\mathbb{Q}^*$는 동치 마링갈 측도가 되며, 비용이 존재하는 경우 $\tilde{u}$-divergence 기반으로 최소 동치 근사 마링갈 측도가 된다.
• 이 방법은 모든 시장 시뮬레이터—특히 GAN이나 VAE와 같은 블랙박스 모델—에 적용 가능하며, 고전적 아웃리어가 없는 경로를 생성한다.
• 이 방법을 통해 딥 헤징 에이전트를 $\mathbb{Q}^*$ 기반으로 훈련시켜, 순수한 파생상품 리스크에만 헤징하는 전략을 도출할 수 있다.

실험 결과

연구 질문

• RQ1 기계학습 기반 방법이 거래 비용이 존재하는 시장 시뮬레이터에 대해 최소 동치 근사 마링갈 측도를 구성할 수 있는가?
• RQ2 시뮬레이션된 시장 데이터에서 통계적 아웃리어를 제거하여 딥 헤징 전략의 강건성을 향상시킬 수 있는가?
• RQ3 유틸리티 최적화를 통해 유도된 위험 중립 측도 기반으로 딥 헤징을 훈련할 경우, 수익률 동역학의 추정 오차에 대한 민감도가 어느 정도 감소하는가?
• RQ4 유도된 근사 마링갈 측도가 GAN 기반 모델과 같은 복잡한 시장 시뮬레이터의 현실성은 유지하면서도 드리프트 기반의 사기적 행동을 제거하는가?
• RQ5 진짜 시장 분포가 시뮬레이터의 분포에서 약간 벗어날 경우, $\mathbb{Q}^*$ 기반으로 훈련된 딥 헤징 전략의 성능은 $\mathbb{P}$ 기반으로 훈련된 전략보다 어떻게 비교되는가?

주요 결과

• 유도된 $\mathbb{Q}^*$ 측도 기반으로 훈련된 딥 헤징 전략은 $\mathbb{P}$ 기반 훈련 전략보다 훨씬 덜 뚜렷한 꼬리 비중을 보이며, 이는 모델 드리프트에 대한 리스크 노출이 감소했음을 시사한다.
• 통계적 아웃리어 성분을 제거한 후, $\mathbb{Q}^*$ 기반 훈련 전략과 $\mathbb{P}$ 기반 훈련 전략의 PNL 분포가 일치함을 확인하여 드리프트 성분이 성공적으로 분離되고 제거되었음을 입증한다.
• 상대 엔트로피 $H(\tilde{\mathbb{P}}|\mathbb{P}) \leq c$ 범위 내에서 진짜 시장 측도 $\tilde{\mathbb{P}}$에 대한 펌핑에 대해 $\mathbb{Q}^*$ 기반 훈련 전략의 PNL은 거의 불변성을 유지하며, $c = 0.5$일 경우에도 마찬가지다. 반면 $\mathbb{P}$ 기반 훈련 전략의 성능은 심각하게 악화된다.
• 이 방법은 $\mathbb{Q}^*$ 하에서 어떤 거래 전략도 양의 기대 수익을 얻지 못하도록 보장하여, 매도/매수 스프레드 하에서 근사 마링갈 조건을 충족함으로써 통계적 아웃리어를 제거한다.
• 유도된 $\mathbb{Q}^*$는 $\tilde{u}$-divergence 기반으로 모든 동치(근사) 마링갈 측도 중에서 최소이므로, 정보 이론적 관점에서 최적성을 보장한다.
• 이 프레임워크는 GAN이나 VAE와 같은 블랙박스 시뮬레이터에 적용 가능하여, 명시적인 모델 동역학이 없더라도 위험 중립 딥 헤징을 가능하게 한다.