[논문 리뷰] Learning the solution operator of parametric partial differential equations with physics-informed DeepOnets

Sifan Wang, Hanwen Wang외 1명|arXiv (Cornell University)|2021. 03. 19.

Model Reduction and Neural Networks인용 수 61

한 줄 요약

본 논문은 물리 정보 기반 정규화를 이용하여 파라메트릭 PDE 해 연산자를 학습하는 DeepONet을 확장하고, 데이터 효율적인 학습과 PDE 일관된 예측을 가능하게 하며, 초기/경계 조건만으로도 제로샷 데이터 없는 학습을 포함하고 PDE 해를 여러 차원에서 가속화한다.

ABSTRACT

Deep operator networks (DeepONets) are receiving increased attention thanks to their demonstrated capability to approximate nonlinear operators between infinite-dimensional Banach spaces. However, despite their remarkable early promise, they typically require large training data-sets consisting of paired input-output observations which may be expensive to obtain, while their predictions may not be consistent with the underlying physical principles that generated the observed data. In this work, we propose a novel model class coined as physics-informed DeepONets, which introduces an effective regularization mechanism for biasing the outputs of DeepOnet models towards ensuring physical consistency. This is accomplished by leveraging automatic differentiation to impose the underlying physical laws via soft penalty constraints during model training. We demonstrate that this simple, yet remarkably effective extension can not only yield a significant improvement in the predictive accuracy of DeepOnets, but also greatly reduce the need for large training data-sets. To this end, a remarkable observation is that physics-informed DeepONets are capable of solving parametric partial differential equations (PDEs) without any paired input-output observations, except for a set of given initial or boundary conditions. We illustrate the effectiveness of the proposed framework through a series of comprehensive numerical studies across various types of PDEs. Strikingly, a trained physics informed DeepOnet model can predict the solution of $\mathcal{O}(10^3)$ time-dependent PDEs in a fraction of a second -- up to three orders of magnitude faster compared a conventional PDE solver. The data and code accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/Physics-informed-DeepONets}.

연구 동기 및 목표

• 파라메트릭 PDE의 해 연산자 학습의 필요성 제시 및 표준 DeepONet의 데이터 효율성과 물리적 일관성의 한계 해결.
• 학습 중 자동 미분을 통한 지배 방정식을 강제하는 물리 정보 기반 정규화 프레임워크를 도입.
• 제한적이거나 paired 데이터가 거의 없는 상태에서 연산자 학습의 데이터 효율성과 제로샷 학습 능력 시연.
• 확산 반응, 미분방정식 및 고주파 입력 영역에서의 성능 및 분포 외 실험 포함.

제안 방법

• 해당 해 지도 G를 입력용 브랜치 네트와 좌표용 트렁크 네트를 가진 unstacked DeepONet으로 표현하고 점곱으로 결합.
• L_operator = L_operator + L_physics 형태의 합성 손실로 학습하되, L_operator는 가능하면 실제 해와의 일치를 목표로 한다.
• L_physics를 자동 미분을 이용한 PDE 잔차 패널티로 구성하여 지배 법칙을 강제한다.
• 다양한 파라메트릭 PDE 시나리오를 생성하기 위해 가우시안 랜덤 필드 입력을 사용하고 데이터 효율성과 일반화 여부를 평가한다.
• 도전적인 경우 고주파 내용을 포착하기 위해 Fourier 특징 임베딩을 사용하고, 입력/출력의 고주파 구성 요소를 잘 다룬다.
• 쌍이 있는 출력 없이도 초기/경계 조건과 PDE 제약을 준수하는 데이터 프리 학습을 시연한다.

실험 결과

연구 질문

• RQ1 물리 정보 기반 정규화가 대규모 페어 데이터 없이도 DeepONet이 기저 PDE를 준수하도록 안내할 수 있는가?
• RQ2 물리 정보 기반 학습이 파라메트릭 PDE 연산자의 데이터 효율성, 일반화 및 보외추론에 어떠한 영향을 미치는가?
• RQ3 고주파 해 구성 요소를 불규칙한 입력에서 학습 가능하게 하는 아키텍처(예: Fourier 특징) 는 무엇인가?
• RQ4 이러한 모델이 전통적인 해석기와 비교해 PDE 풀이를 어느 정도 가속화할 수 있는가?
• RQ5 제로샷 또는 데이터가 적은 학습이 현실적인 경계 조건과 초기 조건을 가진 복잡한 파라메트릭 PDE에 대해 가능한가?

주요 결과

• 물리 정보 기반의 DeepONet은 기존 DeepONet 대비 예측 정확도를 크게 개선하고 데이터 요구를 감소시킨다.
• 물리 정보 기반 프레임워크는 입력-출력 데이터 페어 없이도 초기/경계 조건과 PDE 잔차에 의존해 연산자를 학습할 수 있게 한다.
• 적절한 아키텍처(예: Fourier 특징)로 고주파 입력 함수 및 불규칙한 입력을 정확히 처리한다.
• 예측 해와 잔차가 실제 값과 잘 일치하고 제로샷 또는 데이터가 적은 학습에서도 경쟁력 있는 정확도를 달성한다.
• 물리 정보 기반의 DeepONet은 기존 해석기보다 몇 배에서 몇 차례의 속도로 PDE 해를 예측할 수 있다.