[論文レビュー] Towards Robust and Stable Deep Learning Algorithms for Forward Backward Stochastic Differential Equations

Batuhan Güler, Alexis Laignelet+1 more|arXiv (Cornell University)|Oct 25, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 12

ひとこと要約

本稿では、力学系の視点とマルチレベル離散化を活用して、高次元の前向き・後向きストキャスティック微分方程式（FBSDE）を安定して解くための深層学習アーキテクチャであるNAIS-Netを提案する。NAIS-Netでは、解法時間を約123分から11分へ10倍の高速化を達成したが、安定性や一般化性能を損なわず、定量的ファイナンス分野における数百度の次元のPDEを効率的かつ堅牢に解くことが可能になった。

ABSTRACT

Applications in quantitative finance such as optimal trade execution, risk management of options, and optimal asset allocation involve the solution of high dimensional and nonlinear Partial Differential Equations (PDEs). The connection between PDEs and systems of Forward-Backward Stochastic Differential Equations (FBSDEs) enables the use of advanced simulation techniques to be applied even in the high dimensional setting. Unfortunately, when the underlying application contains nonlinear terms, then classical methods both for simulation and numerical methods for PDEs suffer from the curse of dimensionality. Inspired by the success of deep learning, several researchers have recently proposed to address the solution of FBSDEs using deep learning. We discuss the dynamical systems point of view of deep learning and compare several architectures in terms of stability, generalization, and robustness. In order to speed up the computations, we propose to use a multilevel discretization technique. Our preliminary results suggest that the multilevel discretization method improves solutions times by an order of magnitude compared to existing methods without sacrificing stability or robustness.

研究の動機と目的

• 定量的ファイナンス分野における高次元で非線形なPDEを解く深層学習手法の不安定さと頑健性の欠如を是正すること。
• 解法の安定性や一般化性能を損なわず、FBSDEソルバーの計算効率を向上させること。
• 力学系理論に基づいた安定なニューラルネットワークアーキテクチャをFBSDEに適用するための基盤を構築すること。
• FBSDEにマルチレベルモンテカルロ離散化技術を適用し、学習を高速化すること。
• 標準的なハードウェア上で数分で解ける高次元PDE（最大100次元）の深層学習による解法の可能性を実証すること。

提案手法

• ニューラルネットワークを力学系の観点から見直し、特に非周期的アーキテクチャであるNAIS-Netを優先的に設計することで安定なアーキテクチャを構築する。
• 射影に基づく手法と古典的離散化技術を用いて、FBSDEソルバーにおける数値的安定性を向上させる。
• 複数の時間ステップ解像度（2, 4, 8, 16, 32）でサンプルを生成することで、マルチレベル離散化を実装し、収束を加速する。
• 分散低減と損失関数最適化の高速化を目的に、マルチレベルモンテカルロ法を適用する。
• 固定学習率10⁻³でAdam最適化法を用いてネットワークを学習し、既知の閉形式解を持つ合成FBSDEで性能を評価する。
• 相対誤差、摂動に対する一般化性能、損失関数の変化の観点から、全結合型、ResNet、NAIS-Netのアーキテクチャを比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元FBSDEを解く際、全結合型、ResNet、NAIS-Netといった異なる深層学習アーキテクチャは、安定性と一般化性能においてどのように異なるか？
• RQ2 マルチレベル離散化は、安定性や精度を損なわず、FBSDEの解法時間を顕著に短縮できるか？
• RQ3 力学系の視点は、FBSDEに適用する深層学習モデルの頑健性をどの程度向上させるか？
• RQ4 初期条件の摂動に対して、NAIS-Netは標準的なアーキテクチャと比較してどのように対処するか？
• RQ5 高次元設定下で、マルチレベルFBSDEソルバーは単一レベルソルバーに比べてどの程度の計算的利得をもたらすか？

主な発見

• NAIS-Netは、全結合型およびResNetアーキテクチャを上回り、摂動を加えた初期条件に対しても相対誤差が低く抑えられ、安定性と一般化性能に優れた性能を示した。
• マルチレベル手法により、解法時間が10倍短縮された：単一レベルNAIS-Netでは123分、マルチレベルでは11分。
• 図6に示すように、マルチレベル離散化では損失関数の収束がより安定しており、最適化ダイナミクスの改善が確認された。
• 100次元ブラック・ショールズ方程式において、NAIS-Netは全パスで平均相対誤差が0.01％未満、標準偏差が0.002％未満を達成した。
• ResNetは、残差接続に起因する前向き安定性の問題により、全結合型ネットワークに比べて一般化性能が劣った。
• 提案手法により、標準GPU搭載マシン上でも高次元PDE（最大100次元）の近似解を20分未塔で得ることが可能になった。