[논문 리뷰] Reliable extrapolation of deep neural operators informed by physics or sparse observations

Min Zhu, Handi Zhang외 3명|arXiv (Cornell University)|2022. 12. 13.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경 연산자인 DeepONet와 같은 모델에서 물리 법칙 또는 희소 관측치를 통합함으로써 신뢰할 수 있는 외삽을 가능하게 하는 프레임워크를 제안한다. 미세조정 또는 多신뢰도 학습을 통해 이루어지며, 외삽 복잡도를 측정하기 위한 워샤르스키 기반 측도를 도입한다. 물리 법칙을 반영하거나 관측치를 반영한 방법이 다양한 매개변수적 PDE에서 분포 외 오차를 크게 감소시키며, 핵심 벤치마크에서 오차가 10^{-6} 이하로 떨어짐.

ABSTRACT

Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.

연구 동기 및 목표

• 표준 모델이 높은 오차로 실패하는 훈련 분포를 초월한 외삽에서 깊이 있는 신경 연산자의 핵심적 한계를 해결한다.
• 입력 함수 공간 간의 2-워샤르스키 거리 측도를 사용하여 기능 공간 간의 외삽 복잡도를 정량화함으로써 DeepONets의 외삽 행동을 체계적으로 분석한다.
• 분포 외 입력에서 일반화 성능과 모델 용량 간의 관계를 연결하는 편향-분산 트레이드오프 프레임워크를 개발한다.
• 미세조정 또는 다신뢰도 학습 기반의 다섯 가지 안정적인 학습 방법을 제안하여 입력이 훈련 지원 외부에 있을 경우 안전한 예측을 보장한다.
• 가용 데이터, 필요 정확도 및 추론 속도를 기반으로 최적의 방법을 선택하기 위한 실용적 지침을 제공한다.

제안 방법

• 입력 함수 공간(예: 관련 길이 l를 가진 고정된 고유값 과정)과 테스트 분포 간의 2-워샤르스키 거리를 사용하여 외삽 복잡도를 정량화한다.
• 분포 외 영역에서의 오버피팅 또는 언더피팅을 방지하기 위해 모델 용량을 신중히 균형 잡는 외삽을 위한 새로운 편향-분산 트레이드오프 분석을 도입한다.
• 예측된 DeepONet에 물리 법칙을 인덕티브 바이어스로 통합하기 위해 물리 법칙 기반 손실을 추가함으로써, 사전 훈련된 DeepONet에 대한 미세조정 전략을 개발한다.
• 저신뢰도 및 고신뢰도 데이터를 결합하기 위해 다신뢰도 가우시안 프로세스 회귀(MFGPR)를 구현하며, 문제의 특성에 맞게 부드러움 수준에 적합한 커널 선택(예: 마테른)을 적용한다.
• 트렁크 및 브랜치 네트워크에서 표현 능력과 일반화 성능을 향상시키기 위해 계층별 지역 적응형 활성화 함수(L-LAAF)를 적용한다.
• DeepONet를 먼저 입력 분포 집합에서 사전 훈련한 후, PDE 제약 조건 또는 희소 관측치를 사용하여 외삽 성능을 향상시키기 위해 하이브리드 훈련 전략을 적용한다.

실험 결과

연구 질문

• RQ1 기능 공간 간의 2-워샤르스키 거리는 DeepONets에서의 외삽 복잡도를 어떻게 정량화하는가?
• RQ2 외삽에서 편향-분산 트레이드오프의 본질은 무엇이며, 모델 용량은 분포 외 입력에서의 일반화에 어떻게 영향을 미치는가?
• RQ3 물리 법칙 기반의 미세조정 또는 희소 관측치 기반 적응은 DeepONets의 외삽 성능을 신뢰성 있게 향상시킬 수 있는가?
• RQ4 고신뢰도 데이터가 제한된 경우, 다신뢰도 학습과 MFGPR는 외삽 강건성 향상에 어떻게 비교되는가?
• RQ5 다양한 PDE에 걸쳐 안정적인 외삽을 달성하기 위한 최적의 하이퍼파rameter(예: 학습률, 커널 유형, 스케일링 요소)는 무엇인가?

주요 결과

• 2-워샤르스키 거리는 외삽 복잡도를 정량화하는 데 효과적인 측도이며, 훈련 및 테스트 입력 분포 간 거리가 클수록 예측 오차가 높아지는 경향을 보여준다.
• 물리 법칙 기반의 미세조정은 고신뢰도 데이터가 제한된 상황에서도 적분자 연산자에 대해 L² 상대 오차를 10^{-6} 이하, 다른 PDE에 대해서는 10^{-5} 이하로 감소시킨다.
• 미세조정과 희소 관측치를 결합한 FT-Obs-T 방법은 관측 수와 상관 길이에 관계없이 안정된 성능을 보이며, 최적의 λ 값은 경험적으로 도출된다.
• 마테른 커널(ν=1.5)을 사용한 다신뢰도 가우시안 프로세스 회귀(MFGPR)는 라이드 캐비티 플로우 문제에서 RBF 커널보다 오차 수준을 수 개 차수만큼 감소시켜 뛰어난 성능을 보인다.
• 조정된 스케일링 요소(n=2 for tanh, n=10 for SiLU 등)를 가진 계층별 지역 적응형 활성화 함수(L-LAAF)는 복잡한 PDE에서 일반화 성능을 향상시키고 외삽 오차를 감소시킨다.
• 체계적인 비교 결과, 물리 법칙 기반의 미세조정과 다신뢰도 학습은 외삽에 가장 신뢰할 수 있는 방법이며, 성능은 데이터 가용성과 필요 정확도에 따라 달라진다.