[논문 리뷰] Group Equivariant Fourier Neural Operators for Partial Differential Equations

Jacob Helwig, Xuan Zhang외 4명|arXiv (Cornell University)|2023. 06. 09.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 푸리에 변환의 대칭성 특성을 활용하여 회전, 이동, 반사에 대해 등변성을 가지는 Group Equivariant Fourier Neural Operators (G-FNO)를 제안한다. 이 방법은 해상도 간 일반화 성능을 향상시키고, 완벽한 대칭이 아닌 경우에도 PDE에서 뛰어난 성능을 발휘하며, 기준 FNO보다 최대 3.5% 낮은 테스트 오차를 기록하고 슈퍼해상도 및 회전 불변성에서 일관된 성능 향상을 달성한다.

ABSTRACT

We consider solving partial differential equations (PDEs) with Fourier neural operators (FNOs), which operate in the frequency domain. Since the laws of physics do not depend on the coordinate system used to describe them, it is desirable to encode such symmetries in the neural operator architecture for better performance and easier learning. While encoding symmetries in the physical domain using group theory has been studied extensively, how to capture symmetries in the frequency domain is under-explored. In this work, we extend group convolutions to the frequency domain and design Fourier layers that are equivariant to rotations, translations, and reflections by leveraging the equivariance property of the Fourier transform. The resulting $G$-FNO architecture generalizes well across input resolutions and performs well in settings with varying levels of symmetry. Our code is publicly available as part of the AIRS library (https://github.com/divelab/AIRS).

연구 동기 및 목표

• 표준 푸리에 신경망(FNO)이 입력 해상도 간 일반화에 한계를 보이는 문제를 해결하기 위해.
• 군 등변성 컨볼루션을 주파수 도메인으로 확장하여, 주기, 반사, 이동과 같은 대칭성을 주파수 도메인에 명시적으로 표현할 수 있도록 하기 위해.
• PDE의 다양한 대칭 정도(전역 대칭이 없는 경우 포함)에서 일반화 능력, 샘플 효율성, 성능 향상을 향상시키기 위해.
• 내재된 등변성 덕분에 제로샷 슈퍼해상도 및 기하학적 변환(예: 회전)에 대한 강건성을 확보하기 위해.
• 주파수 도메인에서의 등변성이 데이터 증강이나 국소적 인도적 편향만으로도 달성 가능한 일반화보다 더 나은 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 공간 군 작용(회전, 반사, 이동)에 대한 푸리에 변환의 등변성 특성을 활용하여 대칭성을 유지하는 주파수 도메인 레이어를 설계한다.
• 군 컨볼루션 이론을 주파수 도메인으로 확장하기 위해, 학습 가능한 커널을 주파수 도메인에서 매개변수화하면서도 전체 유클리드 군 E(2) 및 E(3)에 대해 등변성을 유지한다.
• 학습 가능한 스펙트럼 필터를 통해 전역 컨볼루션을 수행하는 G-푸리에 레이어를 구성하여 모든 공간 주파수에서 다중 척도 처리를 효율적으로 가능하게 한다.
• 군 표현에 대한 푸리에 변환 작용의 분해를 통해, 대칭 작용에 따라 네트워크의 내부 표현이 예측 가능하게 변형되도록 보장한다.
• 대칭군 작용에 대해 등변성을 유지하도록 제약된 학습 가능한 스펙트럼 커널을 사용하여, 입력의 변환과 동일한 변환이 출력에 반영되도록 보장한다.
• G-푸리에 레이어를 U-Net 유사 아키텍처에 통합하여 표준 backpropagation로 엔드 투 엔드 학습이 가능하고, FFT를 통한 빠른 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 군 등변성이 푸리에 신경망의 공간 도메인에서 주파수 도메인으로 효과적으로 확장될 수 있는가?
• RQ2 주파수 도메인에 명시적인 대칭성 불변성을 통합할 경우, 입력 해상도 간 일반화 능력 향상과 샘플 복잡도 감소에 기여하는가?
• RQ3 예를 들어 원형 대칭이 없는 라우지에르-스트로움 방정식과 같은 완전한 전역 대칭이 깨진 PDE에서 G-FNO는 어떻게 성능을 발휘하는가?
• RQ4 G-FNO는 제로샷 슈퍼해상도 및 기하학적 변환에 대한 강건성에서 표준 FNO 및 데이터 증강 기반 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 G-푸리에 레이어는 3D PDE 및 비정사각형 영역(예: 불규칙한 영역에서의 얕은 수류 방정식)으로 일반화 가능한가?

주요 결과

• G-FNO는 나비에-스트로움 방정식과 얕은 수류 방정식 모두에서 2D 및 3D 설정 전반에서 가장 낮은 테스트 롤아웃 오차를 기록하였으며, NS 데이터셋에서 기준 FNO 오차보다 3.5% 이상 낮춘다.
• NS-sym 데이터셋에서 G-FNO는 4개 설정 중 3개에서 가장 낮은 슈퍼해상도 오차를 기록했으며, 2D 모델에서는 보간 기반의 세분화 방법보다 낮은 오차를 기록한다.
• 테스트 입력에 대해 90도 반시계 방향으로의 회전에 대해서도 G-FNO는 오차 증가 없이 일관된 성능을 유지하며, 데이터 증강 모델과 달리 진정한 등변성을 보여준다.
• 전역 대칭이 없는 NS 데이터셋에서도 G-FNO는 기준 FNO 대비 일반화 능력을 2% 이상 향상시켰으며, 국소적 대칭 인도적 편향의 이점임을 시사한다.
• 3D 얕은 수류 설정에서 G-FNO는 고오차(>40%)에도 불구하고 베이스라인 중 두 번째로 높은 순위를 기록하여, 군대 시간 이산화 및 비스무스한 동역학에 대한 강건성을 보여준다.
• 반경 방향 커널이 반경 방향 해와 일치하여 SWE-sym에서 가장 뛰어난 성능을 보인 radialFNO는 있지만, G-FNO는 비반경 방향 케이스로의 일반화 능력이 뛰어나 군 등변성의 광범위한 유용성을 보여준다.