[논문 리뷰] Physics-Informed Deep Neural Operator Networks

Somdatta Goswami, Aniruddha Bora외 2명|arXiv (Cornell University)|2022. 07. 08.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 편미분방정식(PDE)에 대한 빠르고 일반화 가능하며 정확한 서브스티튜션 모델링을 가능하게 하는 물리 법칙을 통합한 딥 뉴럴 오퍼레이터 네트워크를 소개한다. 학습 중에 제어 방정식을 손실 함수에 통합함으로써, 이 모델들은 재학습 없이 다양한 경계 조건과 초기 조건에서 실시간 추론을 달성하며, 차원의 극복을 뛰어넘고 유체역학, 고체역학, 기후 모델링 등에 응용 가능하게 한다. 이로 인해 계산 속도가 수천 배 향상된다.

ABSTRACT

Standard neural networks can approximate general nonlinear operators, represented either explicitly by a combination of mathematical operators, e.g., in an advection-diffusion-reaction partial differential equation, or simply as a black box, e.g., a system-of-systems. The first neural operator was the Deep Operator Network (DeepONet), proposed in 2019 based on rigorous approximation theory. Since then, a few other less general operators have been published, e.g., based on graph neural networks or Fourier transforms. For black box systems, training of neural operators is data-driven only but if the governing equations are known they can be incorporated into the loss function during training to develop physics-informed neural operators. Neural operators can be used as surrogates in design problems, uncertainty quantification, autonomous systems, and almost in any application requiring real-time inference. Moreover, independently pre-trained DeepONets can be used as components of a complex multi-physics system by coupling them together with relatively light training. Here, we present a review of DeepONet, the Fourier neural operator, and the graph neural operator, as well as appropriate extensions with feature expansions, and highlight their usefulness in diverse applications in computational mechanics, including porous media, fluid mechanics, and solid mechanics.

연구 동기 및 목표

• 다양한 입력 조건에서 일반화 가능한 신경 오퍼레이터 아키텍처를 개발하고, 물리 시스템에 대한 실시간 추론을 가능하게 하기.
• 기존 물리 법칙을 신경 오퍼레이터 학습에 통합하여 일반화 능력을 향상시키고 데이터 의존도를 줄이기.
• 기존의 감소 차원 모델과 PINNs의 한계를 극복하여, 새로운 조건에 대해 재학습 없이도 빠른 추론을 가능하게 하기.
• 풍력 발전단지 시뮬레이션과 기후 모델링과 같은 대규모 고차원 문제에 대해 신경 오퍼레이터를 확장하기.
• 오퍼레이터 수준의 지속적 학습을 통해 디지털 트윈 및 복잡한 시스템-오브-시스템에서의 인과 추론 개발을 가능하게 하기.

제안 방법

• 입력 함수에서 출력 함수로의 비선형 오퍼레이터를 근사하기 위해 별도의 브랜치 네트워크와 트렁크 네트워크를 갖춘 이중 브랜치 신경망 아키텍처인 DeepONet를 활용한다.
• 구조적 격자에서 오퍼레이터를 효율적으로 학습하기 위해 푸리에 공간에서 적분 커널을 매개변수화하는 푸리에 신경 오퍼레이터(FNO)를 적용한다.
• 비정규 기하학과 복잡한 위상 구조를 갖는 시스템을 모델링하기 위해 그래프 신경 오퍼레이터를 도입하여 신경 오퍼레이터의 적용 가능성을 확장한다.
• 제어 PDE를 학습 목표에 통합함으로써 물리 법칙을 통합한 손실을 적용하여 레이블이 있는 데이터에 대한 의존도를 감소시킨다.
• 특성 확장과 다중 정밀도 데이터 융합을 적용하여 고차원 문제의 일반화 능력을 향상시키고 학습 비용을 절감한다.
• 최소한의 피니팅으로 분포 외 조건에 적응할 수 있도록 오퍼레이터 수준에서의 전이 학습과 지속적 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리 법칙을 통합한 신경 오퍼레이터는 재학습 없이 다양한 경계 조건과 초기 조건에서 일반화할 수 있는가?
• RQ2 물리 법칙을 통합한 손실은 신경 오퍼레이터 학습에서 일반화 능력 향상과 데이터 요구량 감소에 어떻게 기여하는가?
• RQ3 신경 오퍼레이터는 고차원 파arameterized PDE에서 차원의 극복을 극복할 수 있는가?
• RQ4 신경 오퍼레이터는 풍력 발전단지 전력 예측과 같은 실제 산업 문제에 어떻게 스케일링될 수 있는가?
• RQ5 지속적 학습과 인과 모델링을 통해 신경 오퍼레이터는 디지털 트윈 개발을 지원할 수 있는가?

주요 결과

• 물리 법칙을 통합한 신경 오퍼레이터는 재학습 없이도 새로운 조건에서 실시간 추론을 달성하며, 기존 솔버 대비 수천 배의 속도 향상을 이룬다.
• DeepONet와 FNO는 오퍼레이터에 대한 보편적 근사 능력을 보이며, 최소한의 피니팅으로도 학습 분포를 초월한 일반화가 가능하다.
• 손실 함수에 물리 법칙을 통합함으로써 일반화 능력이 크게 향상되고 데이터 의존도가 감소하며, 특히 데이터가 적은 환경에서 두드러진다.
• 신경 오퍼레이터는 예상치 못한 또는 분포 외 조건에서 기존 감소 차원 모델보다 일반화 능력이 뛰어나다.
• 다중 정밀도 학습 접근법을 통해 64기어 풍력 발전단지 시뮬레이션과 같은 고정밀 문제에 대해 효율적인 학습이 가능해졌으며, 계산 비용은 감소시키면서도 정확도는 유지한다.
• 신경 오퍼레이터를 통해 기후 모델이나 인간 기관과 같은 복잡한 시스템의 디지털 트윈을 구축할 수 있으며, 인과 발견과 실시간 추론 가능성이 있다.