[논문 리뷰] Multifidelity Deep Operator Networks For Data-Driven and Physics-Informed Problems

Amanda A. Howard, Mauro Perego외 2명|arXiv (Cornell University)|2022. 04. 19.

Model Reduction and Neural Networks참고 문헌 55인용 수 9

한 줄 요약

이 논문은 데이터 기반 및 물리 기반 문제에서 연산자 학습을 향상시키기 위해 저해상도 및 고해상도 데이터를 조합하는 다중해상도 Deep Operator Network(DeepONet)을 제안한다. 해상도 간 비선형 상관관계를 활용하고 물리 제약 조건을 통합함으로써, 고해상도 데이터가 부족하거나 노이즈가 있는 경우에도 단일해상도 접근보다 더 높은 정확도를 달성한다.

ABSTRACT

Operator learning for complex nonlinear systems is increasingly common in modeling multi-physics and multi-scale systems. However, training such high-dimensional operators requires a large amount of expensive, high-fidelity data, either from experiments or simulations. In this work, we present a composite Deep Operator Network (DeepONet) for learning using two datasets with different levels of fidelity to accurately learn complex operators when sufficient high-fidelity data is not available. Additionally, we demonstrate that the presence of low-fidelity data can improve the predictions of physics-informed learning with DeepONets. We demonstrate the new multi-fidelity training in diverse examples, including modeling of the ice-sheet dynamics of the Humboldt glacier, Greenland, using two different fidelity models and also using the same physical model at two different resolutions.

연구 동기 및 목표

• 복잡한 다물리계를 위한 딥 오퍼레이터 네트워크 훈련에서 고해상도 데이터가 부족한 문제를 해결한다.
• 더 많지만 정확도가 낮은 저해상도 데이터를 훈련 과정에 통합함으로써 단일해상도 학습의 한계를 극복한다.
• 데이터 및 물리 기반 제약 조건을 모두 활용한 다중해상도 훈련을 통해 DeepONet 기반 연산자 근사의 일반화 및 정확도를 향상시킨다.
• 노이즈가 있는 저해상도 데이터에 대한 프레임워크의 강건성과 고정밀도 예측을 위한 데이터 요구량을 줄이는 데서의 효과성을 입증한다.
• 고해상도 시뮬레이션 또는 측정이 비용이 많이 드는 실세계 문제, 예를 들어 빙하 동역학에 대한 DeepONets의 적용 범위를 확장한다.

제안 방법

• 저해상도 및 고해상도 입력을 위한 별도의 브랜치 네트워크와 공통 트렁크 네트워크를 갖춘 복합 DeepONet 아키텍처를 구성한다.
• 저해상도 및 고해상도 데이터셋에 대한 데이터 일치 항목을 포함한 손실 함수를 사용하여 양측 데이터를 동시에 최적화한다.
• 자동 미분를 통해 고해상도 출력에 대해 PDE를 강제 적용함으로써 물리 기반 제약 조건을 통합한다. 이는 고해상도 데이터가 제한된 경우에도 가능하다.
• 이중 단계 훈련 전략을 적용한다: 먼저 저해상도 데이터로 사전 훈련한 후, 고해상도 데이터 또는 물리 기반 제약 조건으로 미세조정한다.
• 손실 함수 내에서 저해상도 데이터, 고해상도 데이터, 물리 기반 항목의 기여도를 균형 잡기 위해 가중치 기법을 적용한다.
• 더 많은 해상도 수준을 다루기 위해 고해상도 데이터 스트림을 위한 추가 브랜치 네트워크를 추가함으로써 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 고해상도 데이터가 부족한 상황에서 저해상도 및 고해상도 데이터를 조합하면 DeepONet 기반 연산자 학습의 정확도가 향상되는가?
• RQ2 저해상도 데이터의 포함이 물리 기반 DeepONet의 수렴성 및 일반화에 어떤 영향을 미치는가?
• RQ3 고해상도 데이터가 극히 소량일 경우, 물리 기반 제약 조건이 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 노이즈가 있는 저해상도 데이터에 대해 다중해상도 DeepONet 프레임워크는 얼마나 강건한가?
• RQ5 고해상도 관측이 제한된 실세계 고차원 문제, 예를 들어 빙하 동역학에 대해 이 방법은 효과적으로 적용될 수 있는가?

주요 결과

• 고해상도 데이터가 제한된 경우, 다중해상도 DeepONet는 단일해상도 기반 모델보다 예측 오차가 크게 낮다.
• 점성 버거스 방정식 예제에서, 다중해상도 모델은 고해상도 데이터가 200개뿐이더라도 데이터 전용 또는 물리 전용 훈련 대비 오차를 최대 50%까지 감소시켰다.
• 노이즈가 있는 저해상도 데이터에 대해서도 모델은 다양한 노이즈 수준에서도 높은 정확도를 유지하며 강건성을 보였다.
• 물리 기반 다중해상도 훈련은 데이터 전용 및 물리 전용 훈련을 모두 초월하며, 데이터와 물리 제약 조건의 상호보완적 이점을 입증했다.
• 두 가지 다른 수치 모델(저해상도 및 고해상도)을 사용하여 훌륭한 예측을 달성하면서 훌륭한 정확도로 훨씬 적은 고해상도 데이터로 훨씬 더 정확한 예측을 수행했다.
• 이 방법은 다중해상도 수준을 가진 문제로 일반화 가능하며, 수정된 손실 함수를 통해 부분적인 물리 지식을 통합할 수 있도록 확장 가능하다.