[논문 리뷰] Solving High-Dimensional PDEs with Latent Spectral Models

Haixu Wu, Tengge Hu외 3명|arXiv (Cornell University)|2023. 01. 30.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

LSM은 잠재 공간의 주의 기반 투영 프레이েম워크와 신경 스펙트럴 블록을 도입하여 고차원 PDE를 더 효율적이고 정확하게 해결하고, 일곱 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Deep models have achieved impressive progress in solving partial differential equations (PDEs). A burgeoning paradigm is learning neural operators to approximate the input-output mappings of PDEs. While previous deep models have explored the multiscale architectures and various operator designs, they are limited to learning the operators as a whole in the coordinate space. In real physical science problems, PDEs are complex coupled equations with numerical solvers relying on discretization into high-dimensional coordinate space, which cannot be precisely approximated by a single operator nor efficiently learned due to the curse of dimensionality. We present Latent Spectral Models (LSM) toward an efficient and precise solver for high-dimensional PDEs. Going beyond the coordinate space, LSM enables an attention-based hierarchical projection network to reduce the high-dimensional data into a compact latent space in linear time. Inspired by classical spectral methods in numerical analysis, we design a neural spectral block to solve PDEs in the latent space that approximates complex input-output mappings via learning multiple basis operators, enjoying nice theoretical guarantees for convergence and approximation. Experimentally, LSM achieves consistent state-of-the-art and yields a relative gain of 11.5% averaged on seven benchmarks covering both solid and fluid physics. Code is available at https://github.com/thuml/Latent-Spectral-Models.

연구 동기 및 목표

• 고차원 PDE를 좌표 공간 연산자 이상으로 효율적으로 해결하고자 하는 동기를 부여한다.
• 중복성을 제거하고 선형 시간 처리를 가능하게 하는 잠재 공간 투영 접근법을 제안한다.
• 복잡한 매핑을 다수의 기저 연산자로 분해하고 수렴 보장을 제공하는 신경 스펙트럴 블록을 소개한다.
• 고체 및 유체 PDE 벤치마크에서 최첨단 성능을 입증하고 전이 가능성을 보여준다.

제안 방법

• 주의 기반 잠재 토큰을 사용하여 고차원 입력을 компакт한 잠재 공간으로 매핑하는 계층적 투영 네트워크(CoordToLatent).
• 잠재 공간 연산자를 다수의 기저 연산자(사인/코사인 기저)로 분해하고 가중치를 학습하는 신경 스펙트럴 블록(Solve).
• 잠재 출력물을 원래 좌표 공간으로 다시 매핑하는 잠재-좌표 투영(LatentToCoord).
• 공간적 이질성을 다루고 좌표에 대해 선형 시간으로 계산하기 위한 패치화된 다중 스케일 아키텍처.
• 수렴 결과 보장을 위한 고차원에서의 삼각 근사 및 Lipschitz 조건하의 신경 스펙트럴 블록 근사에 대한 이론적 보장.

실험 결과

연구 질문

• RQ1 PDE 지배 작업을 고차원 좌표 공간이 아닌 kompact 잠재 공간에서 효과적으로 해결할 수 있는가?
• RQ2 다수의 기저 연산자를 모으는 신경 스펙트럴 블록이 복잡한 PDE 매핑에 대해 신뢰할 수 있는 근사 및 수렴 보장을 제공하는가?
• RQ3 다양한 기하학 및 이산화에 대해 계층적, 주의 기반 투영 네트워크가 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ4 고체 및 유체 물리학에서 최첨단 연산자 학습 PDE 솔버 대비 정확도와 효율성에서 어떤 실증적 이득이 있는가?

주요 결과

• LSM은 고체 및 유체 PDE에 걸친 일곱 벤치마크에서 최첨단 성능을 달성한다.
• 평균적으로, LSM은 벤치마크 전반에서 이전 최고 모델에 비해 오차를 11.5% 감소시킨다.
• Abalation 연구는 각 구성 요소(잠재 투영, 다중 스케일 설계, 패치화, 신경 스펙트럴 블록)가 성능에 기여하며, 잠재 공간 투영이 필수적임을 보여준다.
• 신경 스펙트럴 블록은 다수의 기저 연산자를 모아 근사를 개선하여 이질적인 입력-출력 매핑을 가지는 문제들(예: Elasticity-G, Darcy)에서 주목할 만한 이득을 제공한다.