[논문 리뷰] Transolver: A Fast Transformer Solver for PDEs on General Geometries

Haixu Wu, Huakun Luo외 3명|arXiv (Cornell University)|2024. 02. 04.

Photonic and Optical Devices인용 수 10

한 줄 요약

Transolver는 Physics-Attention을 도입해 이산화된 도메인에서 고유 물리 상태를 학습하고, 학습 가능한 슬라이스에 대해 선형 시간 복잡도의 주의를 가능하게 하며, 다양한 기하 및 대규모 산업 작업에서 최첨단 PDE 해법을 달성합니다.

ABSTRACT

Transformers have empowered many milestones across various fields and have recently been applied to solve partial differential equations (PDEs). However, since PDEs are typically discretized into large-scale meshes with complex geometries, it is challenging for Transformers to capture intricate physical correlations directly from massive individual points. Going beyond superficial and unwieldy meshes, we present Transolver based on a more foundational idea, which is learning intrinsic physical states hidden behind discretized geometries. Specifically, we propose a new Physics-Attention to adaptively split the discretized domain into a series of learnable slices of flexible shapes, where mesh points under similar physical states will be ascribed to the same slice. By calculating attention to physics-aware tokens encoded from slices, Transovler can effectively capture intricate physical correlations under complex geometrics, which also empowers the solver with endogenetic geometry-general modeling capacity and can be efficiently computed in linear complexity. Transolver achieves consistent state-of-the-art with 22% relative gain across six standard benchmarks and also excels in large-scale industrial simulations, including car and airfoil designs. Code is available at https://github.com/thuml/Transolver.

연구 동기 및 목표

• 복잡하고 불규칙한 기하에서 Transformer 기반 모델로 PDE를 해결하는 동기를 부여한다.
• massive meshes에서 점별 주의(point-wise attention)를 우회하기 위해 physics-aware 슬라이스를 학습하는 PDE 해법을 개발한다.
• 다양한 2D/3D 벤치마크와 산업 디자인 전반에 걸쳐 선형 시간 복잡도와 확장 가능한 성능을 달성한다.

제안 방법

• mesh 특징에 기반해 discretized domain을 learnable slices로 분해하는 Physics-Attention을 도입한다.
• 각 슬라이스를 물리적 상태를 나타내는 physics-aware 토큰으로 인코딩한 다음 토큰 간 주의를 적용한다.
• deslicing을 통해 토큰 출력물을 메쉬 포인트에 다시 모아 다음 특징 표현을 얻는다.
• Physics-Attention이 도메인 Ω에서 학습 가능한 적분 연산자를 근사함을 증명한다.
• 표준 주의를 Physics-Attention으로 대체하는 Transformer 유사 아키텍처를 L층에 걸쳐 도입한다.

실험 결과

연구 질문

• RQ1 슬라이스 기반 토큰을 통해 고유 물리 상태를 학습하는 것이 불규칙 기하에서 PDE의 상관 관계 모델링을 개선할 수 있는가?
• RQ2 Physics-Attention이 메시 크기에 대해 선형 계산 복잡도를 달성하면서 정확도를 유지하거나 향상시키는가?
• RQ3 Transolver가 기존의 신경 오퍼레이터 및 Transformer와 비교하여 표준 PDE 벤치마크와 실제 디자인 작업에서 어떤 성능을 보이는가?

주요 결과

• Transolver는 여섯 가지 표준 벤치마크에서 일관되게 최첨단 성능과 상당한 상대적 이득을 제공한다.
• 대규모 산업 시뮬레이션(자동차 및 날개 설계)에서 경쟁력 있거나 우수한 결과를 달성한다.
• 어블레이션 연구는 슬라이스 수를 늘리면 정확도가 향상되나 계산은 증가하고, 고정된 규칙적 격자는 학습 가능한 슬라이스보다 부족하다고 나타난다.
• 효율성 분석은 Transolver가 유사한 정확도에서 여러 베이스라인보다 적은 매개변수와 더 빠른 런타임을 달성한다.
• Physics-Attention 시각화는 슬라이스가 물리적으로 일관된 영역과 정렬되고 토큰-토큰 주의가 메쉬 포인트 주의보다 더 선명함을 보여준다.
• 격자가 손상되었거나 부분적으로 관찰될 때도 성능이 유지되어 기하학적 불규칙성에 대한 강건성을 보여준다.