[論文レビュー] Choose a Transformer: Fourier or Galerkin

Shuhao Cao|arXiv (Cornell University)|May 31, 2021

Model Reduction and Neural Networks参考文献 97被引用数 58

ひとこと要約

本論文は、PDEの演算子学習のためにソフトマックスを用いないフーリエ型およびガレルキン型の自己注意変種を導入し、それらの近似 capacity を証明し、PDEベンチマークにおけるソフトマックスベースのトランスフォーマーよりも効率と精度の向上を示す。

ABSTRACT

In this paper, we apply the self-attention from the state-of-the-art Transformer in Attention Is All You Need for the first time to a data-driven operator learning problem related to partial differential equations. An effort is put together to explain the heuristics of, and to improve the efficacy of the attention mechanism. By employing the operator approximation theory in Hilbert spaces, it is demonstrated for the first time that the softmax normalization in the scaled dot-product attention is sufficient but not necessary. Without softmax, the approximation capacity of a linearized Transformer variant can be proved to be comparable to a Petrov-Galerkin projection layer-wise, and the estimate is independent with respect to the sequence length. A new layer normalization scheme mimicking the Petrov-Galerkin projection is proposed to allow a scaling to propagate through attention layers, which helps the model achieve remarkable accuracy in operator learning tasks with unnormalized data. Finally, we present three operator learning experiments, including the viscid Burgers' equation, an interface Darcy flow, and an inverse interface coefficient identification problem. The newly proposed simple attention-based operator learner, Galerkin Transformer, shows significant improvements in both training cost and evaluation accuracy over its softmax-normalized counterparts.

研究の動機と目的

• PDEsにおけるデータ駆動型演算子学習の動機づけと、メッシュ不変性・解像度不変性の演算子の必要性。
• ヒルベルト空間とPetrov–Galerkin原理に整合するソフトマックスなしの自己注意変種を導入。
• GalR キン Transformer（ガレルキン・トランスフォーマー）と、非正規化データ上で訓練を安定化させる対応する層正規化を開発。
• ソフトマックスベースの注意機構と比較して、PDEベンチマークで訓練効率と精度の改善を実証。

提案手法

• ソフトマックスなしでメッシュ長で重み付けされた正規化を用いる、簡易な自己注意変種を定義する（ガレルキン型およびフーリエ型）。
• 注意をヒルベルト空間における積分変換またはPetrov–Galerkin投影の行列を用いない近似として解釈する。
• ガレルキン型注意は学習可能なPetrov–Galerkin投影と対応し、n非依存の近似を提供することを示す；Céa型誤差界限（定理4.3）を提供。
• Petrov–Galerkin投影を模倣する層正規化スキームを提案し、訓練を安定化させ、層間でスケーリングを伝播させる。
• 潜在基底を動的にフィードフォワードネットワークと位置エンコーディングで豊かにして、演算子応答に適応。
• FTとGTをソフトマックスベースのSTおよびLT変種とPDEタスクで比較し、メモリと速度の利点を強調。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスなしの注意は、PDEの演算子学習におけるPetrov–Galerkin投影と同等の近似力を持つことができるか？
• RQ2 ガレルキン型注意は非正規化データ上で安定した、スケーラブルな訓練を可能にし、従来のソフトマックス注意より効率を向上させるか？
• RQ3 フーリエ型およびガレルキン型注意は、ベンチマーク PDE 演算子学習タスク（粘性 Burgers 方程式、Darcy 流れ、逆の界面係数同定）でどの程度性能を示すか？
• RQ4 層正規化と動的基底更新は、演算子学習者の精度と安定性の向上にどのような役割を果たすか？

主な発見

• ソフトマックスなしのガレルキン型注意は、Petrov–Galerkin投影を明示的に表現でき、その近似能力は列長に依存しない（定理4.3）。
• 新しいガレルキン投影型の層正規化は、注意層を通じた安定したスケーリングを可能にし、物理的特性の追跡（エネルギー減衰など）を改善する。
• ガレルキン型トランスフォーマーとフーリエ型トランスフォーマーは訓練時のメモリを削減し、PDE演算子学習タスクでソフトマックスベースの対応物より訓練速度を向上させる可能性がある。
• 粘性 Burgers 方程式、界面 Darcy 流れ、逆界面係数同定の実験で、GT/FTは精度と効率の向上を示した。
• フーリエ型注意についてソフトマックスよりメモリ使用量が40-50%削減され、ガレルキン型注意は一部のケースでリニア注意より著しいスピードアップを提供する。
• 著者は結果を再現するためのオープンソースの PyTorch コードを提供している。