[論文レビュー] Physics-Informed Convolutional Transformer for Predicting Volatility Surface

Soohan Kim, Seok-Bae Yun+3 more|arXiv (Cornell University)|Sep 22, 2022

Stock Market Forecasting Methods被引用数 7

ひとこと要約

本稿では、ブラック・ショールズ偏微分方程式（PDE）をトランスフォーマー基盤の深層学習アーキテクチャに統合することで、金融市場におけるボラティリティ・サーフェスを予測するための物理的制約付き畳み込み型トランスフォーマー（PI-ConvTF）を提案する。モデルは標準的なPINN、ConvLSTM、自己注意機構を備えた変種を上回る性能を示すが、特に安定的状態下で顕著であり、一方で構造的複雑性のため、変動的時期には過学習のリスクが高まる。

ABSTRACT

Predicting volatility is important for asset predicting, option pricing and hedging strategies because it cannot be directly observed in the financial market. The Black-Scholes option pricing model is one of the most widely used models by market participants. Notwithstanding, the Black-Scholes model is based on heavily criticized theoretical premises, one of which is the constant volatility assumption. The dynamics of the volatility surface is difficult to estimate. In this paper, we establish a novel architecture based on physics-informed neural networks and convolutional transformers. The performance of the new architecture is directly compared to other well-known deep-learning architectures, such as standard physics-informed neural networks, convolutional long-short term memory (ConvLSTM), and self-attention ConvLSTM. Numerical evidence indicates that the proposed physics-informed convolutional transformer network achieves a superior performance than other methods.

研究の動機と目的

• インプライド・ボラティリティ・サーフェスは観測不能であり、ストライク価格とマーサリティにわたって非常に動的であるため、その予測に直面する課題に対処すること。
• ブラック・ショールズモデルからの物理法則をニューラルネットワークアーキテクチャに統合することで、既存の深層学習モデルのボラティリティ・サーフェス予測性能を向上させること。
• 物理的事前知識と高度な自己注意メカニズムを組み合わせることで、純粋な統計的または物理ベースのモデルと比較して、予測精度が向上するかどうかを評価すること。
• サブプライム危機や初期のコロナウイルスパンデミックのような極端な市場状況下での、提案アーキテクチャのロバストネスを調査すること。

提案手法

• スパティオトロピカルなボラティリティ・サーフェスをモデル化するため、PINNにおける標準的な密度ニューラルネットワークを3次元畳み込み型トランスフォーマーエンコーダに置き換えた物理的制約付き畳み込み型トランスフォーマー（PI-ConvTF）を提案する。
• ブラック・ショールズ偏微分方程式（PDE）を正則化損失項として組み込み、予測結果が潜在的な金融ダイナミクスと整合することを保証する。
• 歴史的ボラティリティ・サーフェス行列から時空間特徴を抽出するための3次元畳み込みスタムを用い、その後にマルチヘッド自己注意とフィードフォワード層を適用する。
• データ適合性（観測ボラティリティにおけるMSE）と物理適合性（PDE残差損失）を組み合わせたハイブリッド損失関数を用い、モデルをエンドツーエンドで訓練する。
• 入力データのシーケンシングを可能にするために、固定された10ステップのリカレンス窓を適用する。
• 実市場データを用いてモデルを訓練および評価し、サブプライム危機と初期のコロナウイルスパンデミックという2つの変動的状態を含む。PINN、ConvLSTM、SA-ConvLSTMと比較するベンチマークを実施する。

Figure 1: Interpolated volatility surfaces correspond to three market regimes: neutral market, bull market, and bear market. The blue dotted points represent baseline data points from the dataset. When Not-a-Number (NaN) values appear at the boundaries of the grid, these outliers can be replaced by

実験結果

リサーチクエスチョン

• RQ1 物理的制約付き正則化を施したトランスフォーマー基盤アーキテクチャは、標準的なPINNやLSTMベースのモデルと比較して、ボラティリティ・サーフェス予測精度を向上させることができるか？
• RQ2 安定的および変動的市場状態下で、PI-ConvTFモデルの性能は純粋な統計的モデル（例：ConvLSTM、SA-ConvLSTM）と比較してどうなるか？
• RQ3 ブラック・ショールズPDEを畳み込み型トランスフォーマーアーキテクチャに統合することで、一般化性能が向上し、過学習が軽減されるか？
• RQ4 訓練データに変動的時期が含まれない場合、モデルの複雑性が、訓練データにはないがテストデータに含まれる変動的時期における性能にどのように影響するか？
• RQ5 時系列のリカレンス窓を延長することで、トランスフォーマー基盤モデルとLSTM基盤モデルの相対的性能にどのような影響が生じるか？

主な発見

• PI-ConvTFモデルは安定的市場状態下で優れた性能を示し、平均絶対誤差率（MAPE）の観点で、標準PINN、ConvLSTM、SA-ConvLSTMを上回る。
• サブプライム危機のテスト期間では、PI-ConvTFモデルのMAPEは65.2277%に達し、ConvLSTM（20.3654%）とSA-ConvLSTM（22.6122%）を大きく上回った。これは、変動的状態下での過学習リスクを示唆している。
• 初期のコロナウイルスパンデミックのテスト期間では、PI-ConvTFのMAPEは22.6640%であったが、依然としてConvLSTM（16.9395%）とSA-ConvLSTM（17.3269%）に劣っており、データ分布のシフトに敏感であることが示された。
• 変動的時期におけるトランスフォーマー基盤モデルの性能低下は、構造的複雑性と、訓練データに十分な多様性が欠ける場合の過学習リスクに起因するとされる。
• ConvLSTM や SA-ConvLSTM といった統計的モデルは、変動的状態下で一貫して PI-ConvTF を上回る性能を示しており、モデル容量とロバストネスのトレードオフが顕著である。
• 本研究では、物理的制約と深層学習を組み合わせることで、安定的状態下での精度向上が確認されたが、極端な市場イベントにおける過学習を回避するためには、アーキテクチャの複雑性を慎重に管理する必要があることが判明した。

Figure 2: Architecture of the Physics-Informed Neural Network (PINN) model. The diagram showcases the multiple layers and neurons integrated into the network. Starting with the input layer, which processes raw data ( $s,\tau,m,r$ ), the model progresses through a series of hidden layers equipped wit