[論文レビュー] Representation Equivalent Neural Operators: a Framework for Alias-free Operator Learning

Francesca Bartolucci, Emmanuel de Bézenac+4 more|arXiv (Cornell University)|May 31, 2023

Model Reduction and Neural Networks被引用数 14

ひとこと要約

本論文は Representation equivalent Neural Operators (ReNOs) を導入する、学習する演算子に対して alias-free（エイリアシングなし）、連続-離散等価性を保証するフレームワークを提案し、既存のアーキテクチャにおけるエイリアシングを分析し、離散化が基礎となる連続演算子を保つ条件を理論的かつ実証的に示す。

ABSTRACT

Recently, operator learning, or learning mappings between infinite-dimensional function spaces, has garnered significant attention, notably in relation to learning partial differential equations from data. Conceptually clear when outlined on paper, neural operators necessitate discretization in the transition to computer implementations. This step can compromise their integrity, often causing them to deviate from the underlying operators. This research offers a fresh take on neural operators with a framework Representation equivalent Neural Operators (ReNO) designed to address these issues. At its core is the concept of operator aliasing, which measures inconsistency between neural operators and their discrete representations. We explore this for widely-used operator learning techniques. Our findings detail how aliasing introduces errors when handling different discretizations and grids and loss of crucial continuous structures. More generally, this framework not only sheds light on existing challenges but, given its constructive and broad nature, also potentially offers tools for developing new neural operators.

研究の動機と目的

• 離散化が連続演算子とその離散表現との間にエイリアシングを引き起こす可能性を明らかにする。
• Representation equivalent Neural Operators (ReNOs) を定義し、ゼロエイリアシングを演算子学習の基準として確立する。
• 様々な離散化に跨る連続演算子とその離散表現を結ぶ Formal な枠組みを提供する。
• ReNO の基準を満たす既存の演算子学習アーキテクチャを評価する。
• 合成実験を通じて、エイリアシングが演算子学習に与える影響と、離散化間での表現等価性を分析可能であることを示す。

提案手法

• フレーム理論に基づく統一的な数学的形式化を用いて、連続関数空間とその離散表現を関連付ける。
• 演算子のエイリアシングと連続-離散等価性（CDE）をヒルベルト空間間の演算子について定義する。
• 全ての許容入力/出力フレーム対に対してゼロエイリアシング誤差を持つ演算子として ReNOs を導入する。
• 離散化の選択（フレーム）が離散演算子表現とその等価性にどのように影響するかを特徴づける。
• 具体的なアーキテクチャ（CNN、FNO、CNO）を分析し、フレームの下で ReNO であるかを判定する。
• エイリアシングと、格子とフレーム間での表現等価性を横断した実験を提供する。

Figure 2 : Representation equivalence is computed for three classical architectures, CNN, FNO and CNO trained on a resolution of $61$ (yellow dot). The “Resolution Equivalence" zone, located on the right-hand side, denotes the region where discrete representations have an associated frame, while the

実験結果

リサーチクエスチョン

• RQ1 離散化がニューラル演算子学習に与える影響は何か、演算子のエイリアシングをどのように定量化できるか。
• RQ2 異なる離散化間でニューラル演算子を Representation equivalent (ReNO) と見なせる条件は何か。
• RQ3 既存のどのアーキテクチャが ReNO の基準を満たし、離散化がエイリアシング誤差にどのように影響するか。
• RQ4 表現等価性は連続構造（対称性や保存則など）の保持とどのように関連するか。
• RQ5 実験的に、解像度を変えた場合のエイリアシングの実用的影響を示せるか。

主な発見

• エイリアシング誤差は、連続-離散等価性を満たさない離散化がある場合、ニューラル演算子の層を通じて伝播する。
• Convolutional Neural Operators (CNO) は定義されたフレーム条件下で ReNO であることが示され、CNNs および Fourier Neural Operators (FNOs) は離散化次第で表現等価性を満たさない可能性がある。
• ゼロエイリアシング条件（ReNO）は、連続表現と離散表現がフレーム対間で可換図式を成すことを意味する。
• 離散化を比較し、u と u′ の等価性を評価するための表現等価性誤差指標が存在する。
• 実証結果は、CNNs と FNOs が解像度間で非等価性を示す一方、CNOs は定義された領域内で等価性を示し、外部ではエイリアシングが生じることを示す。
• このフレームワークは、エイリアシングと基礎となる連続構造の保存の関連を結び付け、演算子の連続的性質と一致する離散化が対称性や保存則を維持することを示唆している。

Figure 3 : The activation function increases the bandwidth of the input function beyond the Nyquist frequency, causing aliasing errors.