[논문 리뷰] Deep Hedging

H. Bühler, Lukas Gonon외 2명|arXiv (Cornell University)|2018. 02. 08.

Stochastic processes and financial applications참고 문헌 15인용 수 6

한 줄 요약

이 논문은 거래비용과 Liquidity 제약 등 실제 시장의 제약 조건을 고려한 파생상품 포트폴리오 헤지 전략을 최적화하는 강화학습 프레임워크인 Deep Hedging를 소개한다. 비선형 볼륨 리스크 측정법을 다룰 수 있도록 딥 강화학습을 활용함으로써, 포트폴리오 크기와 거의 비례하지 않는 계산 비용으로도 고차원 설정에서도 전통적인 완전시장 전략보다 뛰어난 헤지 성능을 달성한다.

ABSTRACT

We present a framework for hedging a portfolio of derivatives in the presence of frictions such as transaction costs, impact, liquidity constraints or risk limits using modern deep reinforcement machine learning methods. We discuss how standard reinforcement learning methods can be applied to non-linear reward structures, i.e. in our case convex risk measures. As a general contribution to the use of deep learning for stochastic processes, we also show that the set of constrained trading strategies used by our algorithm is large enough to $\epsilon$-approximate any optimal solution. Our algorithm can be implemented efficiently even in high-dimensional situations using modern machine learning tools. Its structure does not depend on specific dynamics, and generalizes across hedging instruments including the use of liquid derivatives. Its computational performance is largely invariant in the size of the portfolio as it depends mainly on the number of hedging instruments available. We illustrate our approach by showing the effect on hedging under transaction costs in a synthetic driven by the Heston model, where we outperform the standard complete market solution.

연구 동기 및 목표

• 거래비용, 시장 영향력, 유동성 제약 등 실제 시장의 제약 조건을 고려한 강력한 헤지 프레임워크를 개발하는 것.
• 비선형 보상 구조, 특히 금융 리스크 관리에서 흔한 볼륨 리스크 측정법에 대해 딥 강화학습을 적용하는 것.
• 알고리즘이 최적의 해를 ε-근사할 수 있도록 하는 거래 전략을 보장함으로써 이론적으로 수렴 가능한 near-optimal 헤지 성능을 확보하는 것.
• 포트폴리오 크기보다는 헤지 도구의 수에 따라 효율적으로 확장되는 방법을 설계하여 고차원 응용에 적합하게 만드는 것.
• 모델에 특화된 재구성 없이도 다양한 헤지 도구, 특히 유동성 있는 파생상품에 일반화할 수 있도록 하는 것.

제안 방법

• 이 프레임워크는 연속 시간에서 최적의 헤지 정책을 학습하기 위해 딥 강화학습을 활용하며, Value-at-Risk 또는 Expected Shortfall과 같은 볼륨 리스크 측정법을 직접 최적화한다.
• 시장 상태를 거래 행동으로 매핑하는 신경망 정책을 사용하여 복잡한 제약 조건 하에서도 민첩하고 비선형적인 의사결정을 가능하게 한다.
• 알고리즘은 볼륨 리스크 측정법에서 유도된 보상 신호를 사용하여 비선형적이고 비볼륨적인 리스크 목표를 효과적으로 다룰 수 있다.
• 제약 조건이 부과된 거래 전략의 집합이 최적의 해를 ε-근사할 수 있도록 보장함으로써 이론적 수렴 보장을 확보한다.
• 계산 비용은 주로 기초 자산의 수가 아니라 헤지 도구의 수에 비례하므로 고차원 포트폴리오에서 효율적으로 구현할 수 있다.
• 이 방법은 모델에 종속되지 않으며, Heston 스토하스틱 볼륨 모델과 같은 다양한 기초 동역학에 일반화되며 재학습이 필요 없다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 볼륨 리스크 지표와 같은 비선형 리스크 측정법 하에서 헤지 전략을 효과적으로 최적화할 수 있는가?
• RQ2 거래비용 및 기타 시장 제약 조건 하에서 알고리즘이 최적의 헤지 전략을 얼마나 잘 근사할 수 있는가?
• RQ3 이 방법은 고차원 파생상품 포트폴리오에서 계산 효율성과 확장성을 유지하는가?
• RQ4 모델에 특화된 수정 없이도 다양한 헤지 도구, 특히 유동성 있는 파생상품에 일반화되는가?
• RQ5 거래비용이 존재하는 상황에서 딥 헤징 접근 방식은 전통적인 완전시장 헤지 전략보다 어떻게 성능을 냈는가?

주요 결과

• 거래비용이 존재하는 Heston 모델 설정에서 Deep Hedging 프레임워크는 표준 완전시장 헤지 솔루션을 능가하는 리스크 조정된 성과를 보였다.
• 알고리즘은 최적의 헤지 전략을 ε-근사함으로써 이론적 강건성과 수렴 성질을 확인했다.
• 포트폴리오 크기가 증가함에 따라 계산 성능이 안정적이고 효율적으로 유지되었으며, 주로 헤지 도구의 수에 따라 스케일링되었다.
• 이 방법은 모델에 특화된 수정 없이도 다양한 헤지 도구, 특히 유동성 있는 파생상품에 일반화되었다.
• 딥 강화학습을 활용함으로써 금융 리스크 관리에서 흔한 비선형 볼륨 리스크 측정법을 효과적으로 최적화할 수 있었다.
• 실제 시장 제약 조건인 거래비용과 유동성 제약 하에서도 강력한 성능을 유지하였으며, 시뮬레이션된 Heston 모델 실험에서 전통적 접근보다 뛰어난 성능을 보였다.