[논문 리뷰] Multi-fidelity wavelet neural operator with application to uncertainty quantification

Akshay Thakur, Tapas Tripura외 1명|arXiv (Cornell University)|2022. 08. 11.

Image Processing Techniques and Applications인용 수 14

한 줄 요약

이 논문은 부분 미분 방정식(PDE)의 서브스티튜션 모델링을 향상시키기 위해 대규모 저해상도(LF) 데이터와 제한된 고해상도(HF) 데이터를 활용하는 다중 해상도 웨이블릿 신경 연산자(MF-WNO)를 제안한다. 입력 보완과 잔차 기반 학습을 조합함으로써 MF-WNO는 고해상도 전용 WNO보다 예측 오차를 최대 한 계단 낮추며, 여러 PDE 벤치마크에서, 특히 비정상적이고 확률적인 PDE를 포함하여 MF-DeepONet를 능가한다.

ABSTRACT

Operator learning frameworks, because of their ability to learn nonlinear maps between two infinite dimensional functional spaces and utilization of neural networks in doing so, have recently emerged as one of the more pertinent areas in the field of applied machine learning. Although these frameworks are extremely capable when it comes to modeling complex phenomena, they require an extensive amount of data for successful training which is often not available or is too expensive. However, this issue can be alleviated with the use of multi-fidelity learning, where a model is trained by making use of a large amount of inexpensive low-fidelity data along with a small amount of expensive high-fidelity data. To this end, we develop a new framework based on the wavelet neural operator which is capable of learning from a multi-fidelity dataset. The developed model's excellent learning capabilities are demonstrated by solving different problems which require effective correlation learning between the two fidelities for surrogate construction. Furthermore, we also assess the application of the developed framework for uncertainty quantification. The results obtained from this work illustrate the excellent performance of the proposed framework.

연구 동기 및 목표

• 복잡한 PDE에 대한 정확한 신경 연산자 모델을 훈련시키는 데 드는 높은 데이터 비용 문제를 해결하기 위해, 풍부한 저해상도(LF) 데이터와 희소한 고해상도(HF) 데이터를 활용하고자 한다.
• 훈련에 광범위한 HF 데이터가 필요한 단일 해상도 신경 연산자 모델의 한계를 극복하고자 한다.
• LF와 HF 데이터 간의 복잡한 비선형 상관관계를 효과적으로 포착할 수 있는 확장 가능하고 효율적인 프레임워크를 개발하고자 한다.
• 웨이블릿 신경 연산자(WNO)를 다중 해상도 환경으로 확장하면서도, 비정규 영역과 비선형 PDE를 다룰 수 있는 강점을 유지하고자 한다.
• 낮은 데이터 환경, 특히 확률적이고 비정상적인 PDE에서의 프레임워크의 강건성을 입증하고자 한다.

제안 방법

• 모델은 고해상도와 저해상도 예측 간의 차이를 학습하는 잔차 연산자 학습 전략을 사용한다.
• 입력 보완을 통해 고해상도 출력의 굵은 해상도 시뮬레이션을 입력에 추가함으로써, 서로 다른 해상도 간의 특징 정렬을 향상시킨다.
• 저해상도와 고해상도 데이터에 대해 별도의 웨이블릿 신경 연산자(WNO) 네트워크를 훈련하고, 그 출력을 잔차 연결을 통해 통합한다.
• 시간에 따라 변화하는 PDE에 대해서는 예측 결과를 다음 시간 단계의 입력으로 사용하는 티처포싱 훈련 기법을 사용한다.
• 모델은 고해상도 데이터와 저해상도 데이터의 조합을 사용해 엔드 투 엔드로 훈련되며, 잔차에 대한 평균 제곱 오차(MSE)를 최소화하는 방식으로 손실을 최적화한다.
• 이 방법은 확정적 및 확률적 PDE 모두에 적용되었으며, 비정상적 Allen-Cahn 방정식과 확률적 열 방정식을 포함한다.

실험 결과

연구 질문

• RQ1 다중 해상도 웨이블릿 신경 연산자(MF-WNO)는 PDE 내에서 저해상도와 고해상도 데이터 간의 복잡한 비선형 상관관계를 효과적으로 학습할 수 있는가?
• RQ2 예측 정확도와 데이터 효율성 측면에서 MF-WNO는 고해상도 전용 WNO 및 MF-DeepONet보다 어떻게 성능을 내는가?
• RQ3 제안된 프레임워크는 새로운 초기 조건과 비정규 영역으로 일반화할 때도 높은 정확도를 유지할 수 있는가?
• RQ4 특히 확률적 PDE에 대해 낮은 데이터 환경에서도 프레임워크는 강건하고 정확한가?
• RQ5 입력 보완과 잔차 학습이 다중 해상도 연산자 학습에서 수렴성과 예측 성능을 크게 향상시킬 수 있는가?

주요 결과

• 비정상적 Allen-Cahn 방정식에 대해 MF-WNO는 총 80개의 궤적을 사용해 테스트 MSE 2.9312 × 10⁻⁵를 달성했으며, 이는 HFSM-WNO의 1.3158 × 10⁻⁴보다 약 한 계단 낮은 결과이다.
• 100개의 새로운 초기 조건에서 MF-WNO는 MSE 0.0271을 기록했고, HFSM-WNO의 0.0779보다 우수한 일반화 성능을 보였다.
• MF-WNO는 복잡한 비선형성과 비정상적 PDE를 포함한 모든 테스트 문제에서 MF-DeepONet를 능가했다.
• 비선형 상관관계가 단조적이거나 매끄럽지 않은 경우에도, MF-WNO는 LF와 HF 데이터 간의 비선형 상관관계를 성공적으로 포착했다.
• 확률적 열 방정식에 대해 MF-WNO는 낮은 데이터 환경에서도 강건성과 정확성을 입증했으며, 불확실성 정량화 작업에 적합함을 확인했다.
• t = 10 s 시점의 시각적 비교에서 MF-WNO의 예측은 정답과 매우 유사했고, HFSM-WNO는 눈에 띄는 편차를 보였다.