[論文レビュー] Solving high-dimensional parabolic PDEs using the tensor train format

Lorenz Richter, Leon Sallandt+1 more|arXiv (Cornell University)|Feb 23, 2021

Tensor decomposition and applications参考文献 59被引用数 8

ひとこと要約

本稿では、後向きストキャスティック微分方程式（BSDE）の定式化とTT形式における回帰を活用することで、高次元放物型PDEを解くためのテンソルトレイン（TT）手法を提案する。この手法は、計算の効率化に寄与する低ランク構造を活用し、特に明示的$L^2$-射影スキームにおいて優れた精度と高速性を達成する。ニューラルネットワークベースの手法を上回り、低ランク構造が存在する場合に特に顕著な性能を発揮する。

ABSTRACT

High-dimensional partial differential equations (PDEs) are ubiquitous in economics, science and engineering. However, their numerical treatment poses formidable challenges since traditional grid-based methods tend to be frustrated by the curse of dimensionality. In this paper, we argue that tensor trains provide an appealing approximation framework for parabolic PDEs: the combination of reformulations in terms of backward stochastic differential equations and regression-type methods in the tensor format holds the promise of leveraging latent low-rank structures enabling both compression and efficient computation. Following this paradigm, we develop novel iterative schemes, involving either explicit and fast or implicit and accurate updates. We demonstrate in a number of examples that our methods achieve a favorable trade-off between accuracy and computational efficiency in comparison with state-of-the-art neural network based approaches.

研究の動機と目的

• グリッドベースまたはニューラルネットワーク手法を用いた高次元放物型PDEの解法における次元の呪いに対処すること。
• 解に内在する低ランクテンソル構造を活用することで、高次元PDEのための効率的な数値解法を開発すること。
• ニューラルネットワークの代替として、より高速な収束性と低い計算コストを実現しながらも高精度を維持するテンソルトレインベースの手法を提案すること。
• ベンチマークPDE問題において、最先端のニューラルネットワーク手法と比較することで、TTベースの解法の有効性を示すこと。

提案手法

• 反復的後向き数値スキームを可能にするために、放物型PDEを後向きストキャスティック微分方程式（BSDE）に再定式化する。
• 交互最小二乗法を用いた明示的で高速な更新が可能な、テンソルトレイン形式における$L^2$-射影に基づく回帰を用いる。
• 計算負荷を増やすが精度を向上させるために、暗黙的でネストされた反復スキームを実装する。
• テンソルトレインの内在的な直交性と低ランク構造を活用し、微分の計算と最適化を効率的に行う。
• 初期値・終値条件を直接TT関数空間に組み込み、近似に多項式アンサッツ関数を用いる。
• 明示的なパrameter更新が可能な、交替最小二乗法（ALS）を用いてTT形式における回帰問題を解く。

実験結果

リサーチクエスチョン

• RQ1 テンソルトレインは、高次元放物型PDEの解に内在する低ランク構造を効果的に捉え、計算の効率化を可能にするか？
• RQ2 精度と計算時間の観点から、TTベースの解法はニューラルネットワークベースの手法に比べてどの程度優れているか？
• RQ3 明示的$L^2$-射影TTスキームは、暗黙的またはニューラルネットワークの代替手法に比べ、収束速度と精度でどの程度優れているか？
• RQ4 元の解が次元間で非線形的または複雑な依存関係を示す場合、TT形式は精度を維持できるか？
• RQ5 既知のBSDE表現を持つ放物型方程式に限定せず、他の種類のPDEに対してもTTベースのアプローチを一般化できるか？

主な発見

• 20次元HJB問題において、明示的$L^2$-射影TTスキームは15秒の計算時間を達成し、対応するニューラルネットワーク手法（16,991秒）を1,000倍以上も上回った。
• 20次元HJB方程式において、TTベースの明示的スキームは相対誤差$2.82 \times 10^{-3}$を達成し、ニューラルネットワークの$4.24 \times 10^{-3}$を上回った。
• 100次元CIRモデルにおいて、TTの暗黙的スキームはPDE誤差$5.06 \times 10^{-4}$を達成し、ニューラルネットワークの$7.57 \times 10^{-3}$を著しく下回った。
• 次元数$d=100$のCIRモデルにおいて、明示的TT法は197秒で解を計算したのに対し、ニューラルネットワークは9,573秒を要し、50倍の高速化が達成された。
• CIRモデルでは1次以上の多項式次数に差はなく、TTランク1、次数1で既に最適なPDE誤差$7.80 \times 10^{-4}$が達成された。
• TTベースの手法は、トピック問題や実世界の金融モデルを含む複数のテストケースにおいて、最小限のチューニングで安定的かつ一貫性のある性能を示した。