[논문 리뷰] FC-PINO: High Precision Physics-Informed Neural Operators via Fourier Continuation

Ganeshram, Adarsh, Haydn Maust외 7명|arXiv (Cornell University)|2022. 11. 29.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 비주기적 문제에서 정확한 도함수 계산을 가능하게 하기 위해 푸리에 계속법(Fourier continuation, FC)을 사용하는 물리 기반 신경 연산자(FC-PINO)를 소개한다. 이는 기존 PINO에서 발생하는 조건이 나쁜 문제와 기브스 현상 문제를 해결한다. FC는 기울기 계산 전 마지막 레이어에서만 적용하여 FC-PINO는 방정정식 오차를 수개의 자리수 감소시키고, 부드럽지 않은 해의 3차 도함수를 정확히 포착하며, 패딩된 PINO 및 기준 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

The physics-informed neural operator (PINO) is a machine learning paradigm that has demonstrated promising results for learning solutions to partial differential equations (PDEs). It leverages the Fourier Neural Operator to learn solution operators in function spaces and leverages physics losses during training to penalize deviations from known physics laws. Spectral differentiation provides an efficient way to compute derivatives for the physics losses, but it inherently assumes periodicity. When applied to non-periodic functions, this assumption can lead to significant errors, including Gibbs phenomena near domain boundaries which degrade the accuracy of both function representations and derivative computations. To overcome this limitation, we introduce the FC-PINO (Fourier-Continuation-based Physics-Informed Neural Operator) architecture which extends the accuracy and efficiency of PINO and spectral differentiation to non-periodic and non-smooth PDEs. In FC-PINO, we propose integrating Fourier continuation into the PINO framework, and test two different continuation approaches: FC-Legendre and FC-Gram. By transforming non-periodic signals into periodic functions on extended domains in a well-conditioned manner, Fourier continuation enables fast and accurate derivative computations. This approach avoids the discretization sensitivity of finite differences and the memory overhead of automatic differentiation. We demonstrate that standard PINO fails (without padding) or struggles (even with padding) to solve non-periodic and non-smooth PDEs with high precision, across challenging benchmarks. In contrast, the proposed FC-PINO provides accurate, robust, and scalable solutions, substantially outperforming PINO alternatives, and demonstrating that Fourier continuation is critical for extending PINO to a wider range of PDE problems when high-precision solutions are needed.

연구 동기 및 목표

• 비주기적 편미분방정식(PDE)에 물리 기반 신경 연산자(PINO)를 적용할 때 발생하는 조건이 나쁜 문제와 기브스 현상을 해결하기 위해.
• 표준 푸리에 급수 대신 푸리에 계속법(FC)을 사용하여 비주기적 문제에 대한 정확한 기울기 계산을 가능하게 하기 위해.
• FC를 PINO 아키텍처 내에서 최적의 방식으로 통합하여 수치 정밀도와 최적화 안정성을 유지하기 위해.
• FC-PINO가 부드럽지 않은 해 함수, 특히 고차 도함수에서 코기 같은 행동을 보이는 경우에도 정확히 학습하고 도함수를 추정할 수 있음을 입증하기 위해.

제안 방법

• 비주기적 함수를 낮은 차수의 다항식을 사용해 확장된 간격에서 주기적 영역으로 연장하는 푸리에 계속법(FC)을 제안하여 안정적이고 정확한 푸리에 표현을 가능하게 한다.
• 세 가지 아키텍처를 제안한다: 네트워크의 끝에서만 FC를 적용하는 경우, 모든 푸리에 레이어에 FC를 적용하는 경우, 그리고 시작 부분에서 FC를 적용하고 잘라내는 경우; 1차원 폭발 문제에서 성능을 평가한다.
• 모델 출력을 푸리에 급수에 투영하여 푸리에 공간에서 정확한 기울기 계산을 수행하지만, 부분 관측 최적화로 인한 조건이 나쁜 문제를 피하기 위해 FC는 최종 단계에서만 적용한다.
• PDE 잔여항과 경계 조건 항을 포함한 수정된 손실 함수를 사용하며, 도함수 계산은 FC 확장 영역에서 FFT와 IFFT를 통해 수행한다.
• 두 가지 개선 조치를 적용한다: 고주파 특징(예: 해의 코기)을 포착하기 위해 푸리에 모드 수를 늘리고, 0차 주기성을 강제하기 위해 선형 조정을 적용한다.
• Adam을 사용한 표준 최적화 방법으로 모델을 훈련시키며, 다양한 매개변수를 가진 자가 유사 버거 방정식에서 방정정식 오차와 도함수 정확도를 모니터링한다.

실험 결과

연구 질문

• RQ1 푸리에 계속법이 PINO에 효과적으로 통합되어 비주기적 PDE 해에 대해 정확한 도함수 계산을 가능하게 하고, 부분 관측 최적화로 인한 조건이 나쁜 문제를 유발하지 않도록 할 수 있는가?
• RQ2 푸리에 계속법의 위치(최종 레이어 대비 중간 레이어)가 PINO의 최적화 안정성과 해 정확도에 어떤 영향을 미치는가?
• RQ3 FC-PINO가 비주기적이고 부드럽지 않은 해를 고차 도함수와 함께 학습할 때 패딩된 PINO 및 표준 PINO보다 뚜렷하게 뛰어나게 성능을 발휘하는가?
• RQ4 왜 네트워크의 끝에서만 FC를 적용할 경우 중간 레이어에 적용하는 것보다 더 우수한 성능을 내는가?
• RQ5 FC-PINO는 자가 유사 버거 방정식에서와 같이 코기가 있는 해의 3차 도함수를 정확히 포착할 수 있는가?

주요 결과

• FC-PINO에서 푸리에 계속법을 마지막 레이어에만 적용할 경우, λ = 0.4와 λ = 0.5에 대해 각각 10⁻⁸.⁷ 및 10⁻⁸.¹의 방정정식 오차를 달성하여 기준 모델보다 수개의 자리수 개선된 성능을 보였다.
• 마지막 레이어에서만 FC를 적용한 모델은 부분 관측 최적화 문제를 피하여 최소한의 진동과 더불어 더 나은 수렴 성능을 보였다.
• FC-PINO는 폭발점에서 날카로운 코기를 포함한 해의 3차 도함수를 성공적으로 포착하였으며, 이는 표준 PINO 및 패딩된 PINO가 정확히 표현하지 못하는 바이다.
• 중간 레이어에 FC를 적용한 모델는 부분 관측 도메인에서의 최적화로 인해 조건이 나쁜 문제로 인해 경계 근처에서 진동 행동을 보이며 더 높은 오차를 기록했다.
• 더 높은 푸리에 모드를 추가하고 0차 주기성을 강제하기 위한 선형 조정을 적용함으로써 훈련 안정성과 해 정확도가 더욱 향상되었다.