[論文レビュー] Transolver: A Fast Transformer Solver for PDEs on General Geometries

Haixu Wu, Huakun Luo+3 more|arXiv (Cornell University)|Feb 4, 2024

Photonic and Optical Devices被引用数 10

ひとこと要約

Transolver は離散ドメイン上の内在的物理状態を学習するための Physics-Attention を導入し、学習可能なスライス上で線形時間のアテンションを可能にするとともに、多様な幾何形状と大規模産業タスクにおいて最先端の PDE 解法を実現します。

ABSTRACT

Transformers have empowered many milestones across various fields and have recently been applied to solve partial differential equations (PDEs). However, since PDEs are typically discretized into large-scale meshes with complex geometries, it is challenging for Transformers to capture intricate physical correlations directly from massive individual points. Going beyond superficial and unwieldy meshes, we present Transolver based on a more foundational idea, which is learning intrinsic physical states hidden behind discretized geometries. Specifically, we propose a new Physics-Attention to adaptively split the discretized domain into a series of learnable slices of flexible shapes, where mesh points under similar physical states will be ascribed to the same slice. By calculating attention to physics-aware tokens encoded from slices, Transovler can effectively capture intricate physical correlations under complex geometrics, which also empowers the solver with endogenetic geometry-general modeling capacity and can be efficiently computed in linear complexity. Transolver achieves consistent state-of-the-art with 22% relative gain across six standard benchmarks and also excels in large-scale industrial simulations, including car and airfoil designs. Code is available at https://github.com/thuml/Transolver.

研究の動機と目的

• Transformer ベースのモデルを用いて、複雑で不規則な幾何形状における PDE の解法を動機づける。
• 物理を意識したスライスを学習することで、巨大なメッシュ上の点ごとのアテンションを回避する PDE ソルバーを開発する。
• 多様な 2D/3D ベンチマークや産業デザインに渡って、線形時間計算量とスケーラブルな性能を達成する。

提案手法

• メッシュ特徴に基づいて離散化された領域を学習可能なスライスに分解する Physics-Attention を導入する。
• 各スライスを物理状態を表す物理認識トークンにエンコードし、トークン間でアテンションを適用する。
• デスライス処理を通じてトークン出力をメッシュポイントへ集約し、次の特徴表現を得る。
• Physics-Attention が領域 Ω 上の学習可能な積分演算子を近似することを証明する。
• 標準のアテンションを Physics-Attention に置換した Transformer ラークのアーキテクチャを採用し、L 層に渡って適用する。

実験結果

リサーチクエスチョン

• RQ1 スライスベースのトークンを介して内在的な物理状態を学習することで、不規則な幾何形状上の PDE における相関モデリングを改善できるか。
• RQ2 Physics-Attention はメッシュサイズに対して線形の計算量を達成しつつ、精度を維持または向上させるか。
• RQ3 既存のニューラル演算子および Transformers と比較して、標準的な PDE ベンチマークや実世界の設計タスクにおける Transolver の性能はどうか。

主な発見

• Transolver は六つの標準ベンチマーク全体で一貫して最先端の性能を発揮し、相対的な顕著な向上を示す。
• 大規模な産業シミュレーション（自動車・翼型設計）で競争力のある、あるいは優れた結果を達成する。
• アブレーション研究は、スライス数を増やすと精度は向上するが計算量が増加し、固定正則グリッドは学習可能なスライスに劣ることを示す。
• 効率性の分析は、Transolver がいくつかのベースラインと比較して類似またはより良い精度で、より少ないパラメータとより高速な実行時間を達成することを示す。
• Physics-Attention の可視化は、スライスが物理的に一貫した領域と一致し、トークン同士のアテンションがメッシュ点間アテンションより鋭いことを示す。
• メッシュが破損している場合や一部観測されている場合でも性能を維持し、幾何的な不規則性に対する頑健性を示す。