[논문 리뷰] Autonomous AI Agents for Option Hedging: Enhancing Financial Stability through Shortfall Aware Reinforcement Learning

Minxuan Hu, Ziheng Chen외 2명|arXiv (Cornell University)|2026. 02. 01.

Risk and Portfolio Optimization인용 수 0

한 줄 요약

논문은 시장 마찰 하에서 헤징을 강화하기 위해 두 가지 Shortfall-aware 강화학습 프레임워크 Adaptive-QLBS와 Replication Learning of Option Pricing (RLOP)를 소개하고, SPY 및 XOP 옵션에서 꼬리 위험 감소와 거래 비용 감소를 보인다.

ABSTRACT

The deployment of autonomous AI agents in derivatives markets has widened a practical gap between static model calibration and realized hedging outcomes. We introduce two reinforcement learning frameworks, a novel Replication Learning of Option Pricing (RLOP) approach and an adaptive extension of Q-learner in Black-Scholes (QLBS), that prioritize shortfall probability and align learning objectives with downside sensitive hedging. Using listed SPY and XOP options, we evaluate models using realized path delta hedging outcome distributions, shortfall probability, and tail risk measures such as Expected Shortfall. Empirically, RLOP reduces shortfall frequency in most slices and shows the clearest tail-risk improvements in stress, while implied volatility fit often favors parametric models yet poorly predicts after-cost hedging performance. This friction-aware RL framework supports a practical approach to autonomous derivatives risk management as AI-augmented trading systems scale.

연구 동기 및 목표

• 파생상품 시장에서 정적 가격 calibration과 실제 헤징 성능 간의 불일치를 해결한다.
• 복제 오차가 아닌 Shortfall 확률을 최적화하는 강화학습 프레임워크를 개발한다.
• 헤징 의사결정 과정에 거래 비용과 시장 마찰을 통합한다.

제안 방법

• 상태 X_t와 헤징 행동 a_t를 가지는 MDP로 옵션 헤징 모델링, self-financing 제약과 거래 비용을 포함.
• Filtration에 적응하는 가치함수를 도입하고 포트폴리오 가치에 대한 역방향, 할인 구조를 도입하여 Adaptive-QLBS로 확장한다.
• Replication Learning of Option Pricing (RLOP)을 도입, 만기에 발생하는 Shortfalls를 최소화하는 데 초점을 맞춘 앞으로의, 복제 기반 RL 접근.
• 신경망(ResNet 스타일)으로 헤징 정책을 매개하고 시뮬레이션 기하 브라운 운동 경로를 사용하여 baselined REINFORCE로 학습한다.
• 거래 비용 하에서 실현 경로 분포에 대해 헤징 성능을 평가하고 PnL net, shortfall probability, 그리고 Expected Shortfall (ES) 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 프 friction 하에서 RL 보상구조에 Shortfall 확률을 통합하면 헤징의 안정성이 개선되는가?
• RQ2 Adaptive-QLBS와 RLOP가 꼬리 위험과 실행 비용 측면에서 모수 모델(BS, JD, SV)과 비교하여 어떤 성능을 보이는가?
• RQ3 RL 기반 헤징 정책이 여러 체제에서 거래 회전을 줄이면서도 하방 보호를 유지하거나 개선할 수 있는가?

주요 결과

• RLOP는 대부분의 구간에서 손실 미충족 발생 빈도를 줄이고 스트레스 조건에서 꼬리 위험 개선이 가장 명확하게 나타난다.
• Adaptive-QLBS와 RLOP는 IVRMSE 기반 진단이 정적 가격 책정에 대해 모수 모델을 선호하지만, 비용이 포함된 실제 경로 헤징은 RL 정책이 개선된다.
• RL 정책은 같은 일일 재조정 일정에서 거래 회전율을 낮춰 체계적 비용 우위를 지속적으로 달성한다.
• 손실 비용 이후의 극단적 손실을 감소시키는 꼬리 위험 분석(5% 및 10%, 그리고 shortfall 확률)은 RL 방법, 특히 RLOP에서 스트레스가 가중된 체제(예: 2020Q1)에서 감소를 보인다.
• QLBS는 복제 지향의 안정화 도구로 작용하는 경향이 있으며, RLOP는 마찰 하에서 구현 가능성과 하방 제어를 강조한다.