[논문 리뷰] Physics-Informed Convolutional Transformer for Predicting Volatility Surface

Soohan Kim, Seok-Bae Yun외 3명|arXiv (Cornell University)|2022. 09. 22.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

이 논문은 트랜스포머 기반 딥러닝 아키텍처에 블랙-숄즈 편미분방정식(PDE)을 통합하여 금융 시장에서 볼라틸리티 서피스를 예측하기 위한 물리 기반의 컨volutional 트랜스포머(PI-ConvTF)를 제안한다. 이 모델은 표준 PINN, ConvLSTM, 그리고 자체 주의 기반 변형보다 우수한 성능을 보이며, 특히 안정적인 시장 조건에서 뛰어난 성능을 보인다. 그러나 아키텍처의 복잡성으로 인해 변동성이 높은 기간에는 과적합 위험이 더 높은 편이다.

ABSTRACT

Predicting volatility is important for asset predicting, option pricing and hedging strategies because it cannot be directly observed in the financial market. The Black-Scholes option pricing model is one of the most widely used models by market participants. Notwithstanding, the Black-Scholes model is based on heavily criticized theoretical premises, one of which is the constant volatility assumption. The dynamics of the volatility surface is difficult to estimate. In this paper, we establish a novel architecture based on physics-informed neural networks and convolutional transformers. The performance of the new architecture is directly compared to other well-known deep-learning architectures, such as standard physics-informed neural networks, convolutional long-short term memory (ConvLSTM), and self-attention ConvLSTM. Numerical evidence indicates that the proposed physics-informed convolutional transformer network achieves a superior performance than other methods.

연구 동기 및 목표

• 이-minded volatility 서피스를 예측하는 데 도전하는 것은 관측할 수 없고, 행사가격과 만기일에 따라 매우 다이나믹하게 변화하기 때문이다.
• 블랙-숄즈 모델의 물리 법칙을 신경망 아키텍처에 통합하여 기존의 딥러닝 모델보다 볼라틸리티 서피스 예측 성능을 향상시키는 것이다.
• 물리적 사전 지식과 고급 주의 메커니즘을 융합했을 때, 순수 통계적 또는 물리 기반 모델보다 예측 정확도가 향상되는지 평가하는 것이다.
• 특히 서브프라임 크리시스와 초기 코로나19 패닉 기간과 같은 극단적인 시장 조건 하에서 제안된 아키텍처의 강건성(robustness)을 조사하는 것이다.

제안 방법

• PI-ConvTF는 PINN에서 표준 밀도 신경망을 3D 컨볼루션 트랜스포머 인코더로 대체하여 시공간 볼라틸리티 서피스를 모델링하는 물리 기반의 컨볼루션 트랜스포머를 제안한다.
• 블랙-숄즈 편미분방정식(PDE)을 정규화 손실 항목으로 통합하여 예측 결과가 기본 재무 역학과 일치하도록 보장한다.
• 이력 볼라틸리티 서피스 행렬에서 시공간 특징을 추출하기 위해 3D 컨볼루션 스템을 사용한 후, 멀티헤드 자기주시(Self-attention) 및 피드포워드 레이어를 적용한다.
• 모델을 종합적으로 훈련하기 위해 데이터 적합성(MSE 관측 볼라틸리티)과 물리 적합성(PDE 잔차 손실)을 조합한 하이브리드 손실 함수를 사용한다.
• 입력 데이터의 순서를 정하기 위해 고정된 10단계 시간 윈도우를 적용하여 변화하는 볼라틸리티 서피스의 시퀀스 모델링을 가능하게 한다.
• 실제 시장 데이터를 기반으로 모델을 훈련 및 평가하였으며, 서브프라임 크리시스와 초기 코로나19 패닉 기간 등 두 가지 변동성 높은 시장 조건을 포함하였다. PINN, ConvLSTM, SA-ConvLSTM와의 비교 기준도 제공하였다.

Figure 1: Interpolated volatility surfaces correspond to three market regimes: neutral market, bull market, and bear market. The blue dotted points represent baseline data points from the dataset. When Not-a-Number (NaN) values appear at the boundaries of the grid, these outliers can be replaced by

실험 결과

연구 질문

• RQ1 물리 기반 정규화를 적용한 트랜스포머 기반 아키텍처가 표준 PINN 및 LSTM 기반 모델보다 볼라틸리티 서피스 예측 정확도를 향상시킬 수 있는가?
• RQ2 안정적이고 변동성이 높은 시장 조건에서 PI-ConvTF 모델의 성능이 순수 통계 기반 모델(예: ConvLSTM, SA-ConvLSTM)과 비교해 어떻게 되는가?
• RQ3 블랙-숄즈 PDE를 컨볼루션 트랜스포머 아키텍처에 통합함으로써 일반화 능력 향상과 과적합 감소 효과가 발생하는가?
• RQ4 훈련 데이터에 변동성이 높은 기간이 포함되어 있지 않은 상황에서 모델 복잡도가 성능에 미치는 영향은 어떠한가?
• RQ5 시간 윈도우를 늘릴 경우 트랜스포머 기반 모델과 LSTM 기반 모델 간의 상대적 성능에 어떤 영향을 미치는가?

주요 결과

• PI-ConvTF 모델은 안정적인 시장 조건에서 표준 PINN, ConvLSTM, SA-ConvLSTM보다 더 뛰어난 성능을 보이며, 평균 절대 퍼센트 오차(MAPE) 측면에서 승리한다.
• 서브프라임 크리시스 테스트 기간 동안 PI-ConvTF 모델의 MAPE는 65.2277%로 나타났으며, 이는 ConvLSTM(20.3654%) 및 SA-ConvLSTM(22.6122%)보다 훨씬 높아, 변동성 높은 시장에서 과적합 위험이 있음을 시사한다.
• 초기 코로나19 패닉 기간 동안 PI-ConvTF는 MAPE 22.6640%를 기록했지만, 여전히 ConvLSTM(16.9395%) 및 SA-ConvLSTM(17.3269%)에 밀리는 성과를 보였다. 이는 데이터 분포의 변화에 민감함을 반영한다.
• 변동성이 높은 기간 동안 트랜스포머 기반 모델의 성능 저하 원인은 아키텍처의 복잡성과 훈련 데이터에 변동성이 충분히 포함되어 있지 않을 경우 과적합 위험이 높아지기 때문이다.
• 통계 기반 모델인 ConvLSTM 및 SA-ConvLSTM는 변동성 높은 시장 조건에서 PI-ConvTF를 일관되게 앞서며, 모델 용량과 강건성 사이의 상충 관계를 드러낸다.
• 본 연구는 물리적 제약 조건과 딥러닝을 융합함으로써 안정적인 조건에서는 정확도 향상이 가능하다는 점을 확인했지만, 극단적인 시장 사건에서는 아키텍처의 복잡성을 신중히 관리해야 과적합을 방지할 수 있음을 시사한다.

Figure 2: Architecture of the Physics-Informed Neural Network (PINN) model. The diagram showcases the multiple layers and neurons integrated into the network. Starting with the input layer, which processes raw data ( $s,\tau,m,r$ ), the model progresses through a series of hidden layers equipped wit