[논문 리뷰] Unsupervised Physics-Informed Operator Learning through Multi-Stage Curriculum Training

Paolo Marcandelli, Natansh Mathur외 3명|arXiv (Cornell University)|2026. 02. 02.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

비지도 물리정보 기반 연산자 학습을 위한 다단계 커리큘럼을 제안하고, spline 강화된 Fourier 신경 연산자 PhIS-FNO를 소개하여 내부 레이블 없이도 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

Solving partial differential equations remains a central challenge in scientific machine learning. Neural operators offer a promising route by learning mappings between function spaces and enabling resolution-independent inference, yet they typically require supervised data. Physics-informed neural networks address this limitation through unsupervised training with physical constraints but often suffer from unstable convergence and limited generalization capability. To overcome these issues, we introduce a multi-stage physics-informed training strategy that achieves convergence by progressively enforcing boundary conditions in the loss landscape and subsequently incorporating interior residuals. At each stage the optimizer is re-initialized, acting as a continuation mechanism that restores stability and prevents gradient stagnation. We further propose the Physics-Informed Spline Fourier Neural Operator (PhIS-FNO), combining Fourier layers with Hermite spline kernels for smooth residual evaluation. Across canonical benchmarks, PhIS-FNO attains a level of accuracy comparable to that of supervised learning, using labeled information only along a narrow boundary region, establishing staged, spline-based optimization as a robust paradigm for physics-informed operator learning.

연구 동기 및 목표

• 무지도(비지도) 기반 연산자 학습을 통해 PDE를 해결하는 동기를 부여하고, 강인성과 일반화 성능을 향상시킨다.
• 단계 전환 시 옵티마이저를 재초기화하여 학습을 안정시키는 커리큘럼 기반 학습 전략을 개발한다.
• 경계 조건 전반에서 매끄러운 잔차 평가를 가능하게 하는 하이브리드 Fourier-스플라인 연산자인 PhIS-FNO를 도입한다.
• 주기적 및 비주기적 경계 조건에서 대표 PDE들에 대한 수렴성과 경쟁력 있는 정확도를 보인다.

제안 방법

• 먼저 경계 조건을 강제하고 그다음 내부 PDE 잔차를 적용하는 다단계 커리큘럼을 제안하며, 각 단계에서 옵티마이저를 재초기화한다.
• 연속 잔차를 위한 Hermite 스플라인 커널과 Fourier 계층을 결합한 Physics-Informed Spline Fourier Neural Operator (PhIS-FNO)을 도입한다.
• 해결 연산자 G†를 안내하는 경계 및 초기 조건과 함께 PDE 문제를 연산자 학습 용어로 형식화한다.
• 고정 보간 없이 단계 전환이 손실 가중치를 조정하는 경계-잔차 호모토피에서 영감을 받은 손실을 사용한다.
• PhIS-FNO를 스플라인 계수를 예측하고 Fourier 기반 업데이트로 스플라인 기저를 이용해 해를 재구성하여 구현한다.
• 단계화된 옵티마이저 재설정이 무지도 물리정보 학습의 수렴성과 안정성을 향상시킴을 입증한다.

실험 결과

연구 질문

• RQ1 다단계 커리큘럼과 옵티마이저 재설정이 무지도 물리정보 연산자 학습에서 안정적인 수렴을 달성할 수 있는가?
• RQ2 PhIS-FNO가 주기적 및 비주기적 영역에서 안정적이고 해상도에 불변하는 잔차 평가를 제공하는가?
• RQ3 경계 중심의 학습이 학습된 연산자 안내에 있어 내부 잔차 학습과 어떻게 비교되는가?
• RQ4 무지도 물리정보 연산자가 벤치마크 PDE에서 감독식 대안에 맞먹거나 근접하는가?
• RQ5 제안된 커리큘럼 하에서 어떤 아키텍처(PINO, Spline U-Net, FNO 변형)가 가장 좋은 성능을 보이는가?

주요 결과

• 다단계 커리큘럼은 테스트된 모든 PDE에서 완전한 무지도 학습의 수렴을 가능하게 한다.
• PINO은 주기적 문제에서 가장 높은 정확도를 달성하고, PhIS-FNO는 비주기적 및 대규모 도메인 문제에서 우수한 성능과 안정성을 보인다.
• 스플라인 기반의 연속 미분은 스펙트럴 누출과 절단 아티팩트를 감소시켜 그래디언트 동작을 개선한다.
• PhIS-FNO는 일반 경계 조건을 처리하면서 해상도 불변성을 유지한다.
• Burgers’, Poisson, 및 Navier–Stokes 벤치마크에서 잔차 오차가 감소하고 기본선 대비 학습 안정성이 향상된다.
• 이 프레임워크는 여러 설정에서 데이터가 없는 내부 학습이 감독 학습에 비견되거나 근접한 정확도를 보임을 보여준다.