[論文レビュー] Random feature neural networks learn Black-Scholes type PDEs without curse of dimensionality

Lukas Gonon|arXiv (Cornell University)|Jun 14, 2021

Model Reduction and Neural Networks被引用数 12

ひとこと要約

この論文は、ランダム特徴関数ニューラルネットワークが次元の呪いに左右されない形で高次元ブラックショールズ型PDEの解を学習できることを示している。隠れ層のパラメータを固定し、出力重みのみを学習することで、近似誤差、一般化誤差、最適化誤差のすべてにおいて次元に依存しない多項式収束率を達成し、金融系PDEに対する決定的かつ効率的な学習を証明した。

ABSTRACT

This article investigates the use of random feature neural networks for learning Kolmogorov partial (integro-)differential equations associated to Black-Scholes and more general exponential L\\'evy models. Random feature neural networks are single-hidden-layer feedforward neural networks in which only the output weights are trainable. This makes training particularly simple, but (a priori) reduces expressivity. Interestingly, this is not the case for Black-Scholes type PDEs, as we show here. We derive bounds for the prediction error of random neural networks for learning sufficiently non-degenerate Black-Scholes type models. A full error analysis is provided and it is shown that the derived bounds do not suffer from the curse of dimensionality. We also investigate an application of these results to basket options and validate the bounds numerically. These results prove that neural networks are able to \ extit{learn} solutions to Black-Scholes type PDEs without the curse of dimensionality. In addition, this provides an example of a relevant learning problem in which random feature neural networks are provably efficient.

研究の動機と目的

• ブラックショールズや指数レヴィ過程を含む金融モデルに生じる高次元コルモゴロフPDEの解を学ぶ課題に対処すること。
• ニューラルネットワークが高次元PDE学習で成功する理由を理解する理論的ギャップを埋め、近似誤差、一般化誤差、最適化誤差の3つの誤差成分を分析すること。
• 固定された隠れ層重みによる表現力の制限にもかかわらず、ランダム特徴関数ニューラルネットワークがこの文脈で次元の呪いを克服できることを証明すること。
• 50次元のバスケットオプションプライシング問題に対して理論的発見を数値的に検証すること。

提案手法

• 隠れ層の重みをランダムに初期化し固定し、出力重みのみを非制約回帰により学習する、単一隠れ層の順方向ニューラルネットワークを採用する。
• 理論的分析により、予測誤差を近似誤差、一般化誤差、最適化誤差の各成分に分解し、これらすべてがサンプルサイズに多項式的に依存し、隠れノード数の逆数に反比例することを示した。
• 主な技術的ツールとして、PDEの解に十分な表現力を与えるために、重み分布に厚尾を持つランダム特徴マップ（例：スルーディスト分布）を用いる。
• 解析には、ペイオフ関数と指数写像の合成が可積分であること、および拡散行列に非退化性があるという仮定を用い、これらにより次元に依存しない誤差境界を保証した。
• 数値的検証では、50次元のブラックショールズPDEの訓練データをモンテカルロシミュレーションでノイズ付きに生成し、保留されたサンプルに対するテスト誤差を測定した。
• 実験的誤差は理論的 $1/\sqrt{N}$ 減衰率（$N$ は隠れノード数）と比較され、理論的予測を確認した。

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴関数ニューラルネットワークは、次元の呪いに左右されずに高次元ブラックショールズ型PDEの解を学習できるか？
• RQ2 近似誤差、一般化誤差、最適化誤差という3つの誤差成分が、この文脈で次元に依存しない収束率を達成できるか？
• RQ3 可積分性の仮定が満たされない場合を含め、現実的な仮定のもとでも隠れノード数 $N$ における $1/\sqrt{N}$ 収束率が保たれるか？
• RQ4 数値実験が示唆するように、現在の可積分性および非退化性の仮定をより緩くできる可能性はあるか？

主な発見

• ブラックショールズ型PDEの解を学習するためのランダム特徴関数ニューラルネットワークの予測誤差は、隠れノード数 $N$ に対して $O(1/\sqrt{N})$ の速度で減少し、問題の次元 $d$ に依存しない。
• 近似誤差、一般化誤差、最適化誤差のすべてが、次元に伴い指数関数的に増大しない多項式収束率を達成しており、次元の呪いを回避している。
• 50次元のバスケットオプションプライシング問題に対する数値実験により、理論的 $1/\sqrt{N}$ 減衰が確認され、推定誤差は理論的 $e_0 / \sqrt{N}$ 曲線とよく一致した。
• 主定理の可積分性および非退化性の仮定を満たさないにもかかわらず、数値結果は $1/\sqrt{N}$ 減衰が依然として成立する可能性を示唆しており、理論的仮定の緩和の可能性を示している。
• 本研究は、ランダム特徴ネットワークに基づくコルモゴロフPDEに対する、初めての次元に依存しない学習アルゴリズムを提供し、近似誤差、一般化誤差、最適化誤差の3成分を網羅的に分析した。