[논문 리뷰] Solving high-dimensional parabolic PDEs using the tensor train format

Lorenz Richter, Leon Sallandt외 1명|arXiv (Cornell University)|2021. 02. 23.

Tensor decomposition and applications참고 문헌 59인용 수 8

한 줄 요약

이 논문은 후행 확률 미분 방정식(BSDE) 공식화와 TT 형식에서의 회귀를 활용하여 고차원 포물형 PDE를 해결하기 위한 텐서 트레인(TT) 방법을 제안한다. 이 방법은 효율적인 계산을 위해 낮은 랭크 구조를 활용하며, 특히 명시적 $L^2$-투영 계획에서 뛰어난 정확도와 속도를 달성한다. 신경망 기반 방법보다 런타임과 수렴 속도에서 뛰어나며, 낮은 랭크 구조가 존재할 경우 특히 유리하다.

ABSTRACT

High-dimensional partial differential equations (PDEs) are ubiquitous in economics, science and engineering. However, their numerical treatment poses formidable challenges since traditional grid-based methods tend to be frustrated by the curse of dimensionality. In this paper, we argue that tensor trains provide an appealing approximation framework for parabolic PDEs: the combination of reformulations in terms of backward stochastic differential equations and regression-type methods in the tensor format holds the promise of leveraging latent low-rank structures enabling both compression and efficient computation. Following this paradigm, we develop novel iterative schemes, involving either explicit and fast or implicit and accurate updates. We demonstrate in a number of examples that our methods achieve a favorable trade-off between accuracy and computational efficiency in comparison with state-of-the-art neural network based approaches.

연구 동기 및 목표

• 그리드 기반 또는 신경망 기반 방법을 사용할 때 고차원 포물형 PDE 해결 시 발생하는 차원의 저주 문제를 해결하기 위해.
• 해결책에 내재된 낮은 랭크 텐서 구조를 활용하여 고차원 PDE의 효율적 수치 해법을 개발하기 위해.
• 신경망 기반 방법에 대한 텐서 트레인 기반 대안을 제안하여 더 빠른 수렴 속도와 낮은 계산 비용을 유지하면서도 높은 정확도를 확보하기 위해.
• 기준 PDE 문제에 대한 최신 신경망 방법과의 비교를 통해 TT 기반 해법의 효과성을 입증하기 위해.

제안 방법

• 반환 확률 미분 방정식(BSDE)으로 포물형 PDE를 재구성하여 반복적인 후행 수치적 기법을 가능하게 하기 위해.
• 교차 최소 제곱법을 통한 명시적 빠른 업데이트를 가능하게 하는 TT 형식에서의 $L^2$-투영 기반의 회귀를 사용하기 위해.
• 더 높은 계산 부담을 감수하면서도 정확도를 향상시키기 위해 암시적 중첩 반복 기법을 구현하기 위해.
• 텐서 트레인의 내재된 직교성과 낮은 랭크 구조를 활용하여 도함수 계산과 최적화를 효율적으로 수행하기 위해.
• 초기/최종 조건을 직접 TT 함수 공간에 통합하고 근사에 다항식 안사트 함수를 사용하기 위해.
• 교차 최소 제곱법(ALS)을 사용하여 TT 형식에서의 회귀 문제를 해결하고 명시적 매개변수 업데이트를 수행하기 위해.

실험 결과

연구 질문

• RQ1 텐서 트레인은 고차원 포물형 PDE 해법의 낮은 랭크 구조를 효과적으로 포착하여 효율적인 계산을 가능하게 할 수 있는가?
• RQ2 정확도와 계산 시간 측면에서 TT 기반 해법은 신경망 기반 방법보다 어떻게 비교되는가?
• RQ3 명시적 $L^2$-투영 TT 계획은 수렴 속도와 정확도 측면에서 암시적 또는 신경망 대안보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 기저 해법이 차원 간 비선형적 또는 복잡한 의존성 구조를 보일 경우 TT 형식은 정확도를 유지할 수 있는가?
• RQ5 이미 BSDE 표현이 알려진 포물형 방정식 외의 다른 유형의 PDE에 대해서도 TT 기반 접근법을 일반화할 수 있는가?

주요 결과

• 20D HJB 문제에서 명시적 $L^2$-투영 TT 계획은 15초의 계산 시간을 기록하여, 해당하는 신경망 방법의 16,991초보다 1,000배 이상 빠르게 성능을 발휘했다.
• 20D HJB 방정식에서 TT 기반 명시적 계획은 상대 오차 $2.82 \times 10^{-3}$를 달성하여 신경망의 $4.24 \times 10^{-3}$를 뛰어넘었다.
• 100D CIR 모델에서 TT 암시적 계획은 PDE 손실을 $5.06 \times 10^{-4}$로 낮추었으며, 신경망의 $7.57 \times 10^{-3}$보다 현저히 낮았다.
• d=100인 CIR 모델에서 명시적 TT 방법은 197초만에 해법을 계산했고, 신경망은 9,573초가 소요되어 50배의 속도 향상을 보였다.
• CIR 모델에서 1보다 큰 다항식 차수는 개선을 가져오지 못했으며, TT-랭크 1과 차수 1 조합에서 이미 최적의 PDE 손실 $7.80 \times 10^{-4}$를 달성했다.
• TT 기반 방법은 최소한의 튜닝으로도 토이 문제와 실제 금융 모델을 포함한 다양한 테스트 케이스에서 뛰어난 강건성과 일관성을 보였다.