[논문 리뷰] A foundational neural operator that continuously learns without forgetting

Tapas Tripura, Souvik Chakraborty|arXiv (Cornell University)|2023. 10. 29.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 재난적 잊음 없이 매개변수화된 PDE의 해 연산자를 지속적으로 학습할 수 있는 과학 계산을 위한 기초 모델인 신경 조합 웨이블릿 신경 연산자(NCWNO)를 소개한다. 게이트형 국소 웨이블릿 전문가와 메모리 기반 앙상블 메커니즘을 결합함으로써 NCWNO는 최소한의 피지테이닝으로 새로운 PDE에 빠르게 적응할 수 있으며, 다양한 물리 시스템 간에 뛰어난 일반화 능력과 긍정적 전이 능력을 확보한다.

ABSTRACT

Machine learning has witnessed substantial growth, leading to the development of advanced artificial intelligence models crafted to address a wide range of real-world challenges spanning various domains, such as computer vision, natural language processing, and scientific computing. Nevertheless, the creation of custom models for each new task remains a resource-intensive undertaking, demanding considerable computational time and memory resources. In this study, we introduce the concept of the Neural Combinatorial Wavelet Neural Operator (NCWNO) as a foundational model for scientific computing. This model is specifically designed to excel in learning from a diverse spectrum of physics and continuously adapt to the solution operators associated with parametric partial differential equations (PDEs). The NCWNO leverages a gated structure that employs local wavelet experts to acquire shared features across multiple physical systems, complemented by a memory-based ensembling approach among these local wavelet experts. This combination enables rapid adaptation to new challenges. The proposed foundational model offers two key advantages: (i) it can simultaneously learn solution operators for multiple parametric PDEs, and (ii) it can swiftly generalize to new parametric PDEs with minimal fine-tuning. The proposed NCWNO is the first foundational operator learning algorithm distinguished by its (i) robustness against catastrophic forgetting, (ii) the maintenance of positive transfer for new parametric PDEs, and (iii) the facilitation of knowledge transfer across dissimilar tasks. Through an extensive set of benchmark examples, we demonstrate that the NCWNO can outperform task-specific baseline operator learning frameworks with minimal hyperparameter tuning at the prediction stage. We also show that with minimal fine-tuning, the NCWNO performs accurate combinatorial learning of new parametric PDEs.

연구 동기 및 목표

• 과학 계산에서 매개변수화된 PDE에 대한 작업 특화 모델 학습 시 높은 계산 비용과 이식성 부족 문제를 해결하기 위해.
• 다양한 PDE로부터 학습할 수 있고, 재훈련 최소화로 새로운 보편적인 매개변수화된 PDE에 일반화할 수 있는 기초 모델을 개발하기 위해.
• 과학 기계 학습 응용에서 흔한 지속적 학습 환경에서의 재난적 잊음 문제를 극복하기 위해.
• 공유된 특징 학습과 메모리 최적화된 앙상블을 통해 비유사한 물리 시스템 간에 긍정적 지식 전이를 가능하게 하기 위해.
• 조합 학습과 이식 학습을 지원하는 연산자 학습을 위한 기초 모델을 도입함으로써 과학 기계 학습의 새로운 범주를 설정하기 위해.

제안 방법

• NCWNO는 다양한 물리 시스템 간의 공유 특징을 추출하기 위해 동적으로 선택 및 조합하는 국소 웨이블릿 전문가를 활용하는 게이트형 아키텍처를 사용한다.
• 각 국소 웨이블릿 전문가는 웨이블릿 변환된 함수 공간에서 작동하여 매개변수화된 PDE의 해 연산자에 대한 다중 척도 표현을 가능하게 한다.
• 기존에 학습된 PDE들로부터의 지식을 저장하고 검색하는 메모리 기반 앙상블 메커니즘이 지속적 학습 중 재난적 잊음을 방지한다.
• 다양한 PDE들에서 동시에 학습하는 조합 학습 전략을 사용하여 인덕티브 바이어스 전이를 촉진하고 일반화 능력을 향상시킨다.
• 공유 트렁크 네트워크와 작업별 분기 네트워크를 통합하여, 피지테이닝을 통한 새로운 PDE에 대한 효율적 적응을 가능하게 한다.
• 학습 과정은 학습률 스케줄링과 가중치 감쇠를 포함한 적응형 최적화를 사용하여 다양한 PDE 유형과 차원에서의 학습 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 신경 연산자 모델이 성능을 유지하면서도 다양한 매개변수화된 PDE에 대해 동시에 해 연산자를 학습할 수 있는가?
• RQ2 NCWNO는 최소한의 피지테이닝으로 새로운, 이전에 본 적이 없는 매개변수화된 PDE에 얼마나 효과적으로 일반화할 수 있는가?
• RQ3 메모리 기반 앙상블 메커니즘이 과학 기계 학습의 지속적 학습 환경에서 재난적 잊음을 어느 정도 방지하는가?
• RQ4 표준 신경 연산자 아키텍처에 비해 웨이블릿 기반 국소 전문가의 사용이 특징 표현과 일반화 능력을 향상시키는가?
• RQ5 다른 역학적 특성과 공간적 구조를 가진 물리 시스템, 예를 들어 나비에-스토크스 방정식과 다르시 흐름 사이에서 NCWNO가 긍정적 전이를 달성할 수 있는가?

주요 결과

• NCWNO는 추론 시 최소한의 하이퍼파rameter 튜닝으로도 모든 벤치마크 PDE에서 작업 특화 기반의 연산자 학습 프레임워크를 압도적으로 뛰어넘는 성능을 보였다.
• 단지 100~500개의 피지테이닝 에포크로 새로운 매개변수화된 PDE에 대한 정확한 조합 학습을 달성하여 빠른 적응 능력을 입증했다.
• 지속적 학습 환경에서 NCWNO는 이전에 학습된 PDE들에 대해 높은 성능을 유지하며 재난적 잊음에 대한 강건성을 보였다.
• 메모리 기반 앙상블 메커니즘은 새로운 PDE를 학습함으로써 이전에 학습한 PDE의 성능까지 향상시키는 긍정적 전이를 가능하게 했으며, 이는 일반 모델에서 흔한 부정적 전이와는 정반대되는 결과였다.
• NCWNO는 1D 및 2D 버거스, 올렌-컨, 쿠라모토-시바시니, 다르시 흐름, 나비에-스토크스, 나구모 방정식을 포함한 다양한 PDE들에서 최신 기술 수준의 일반화 능력을 확보했다.
• 웨이블릿 기반 전문가의 사용은 특히 정확한 PDE 해 근사에 핵심적인 다중 척도 특징을 포착함으로써 뛰어난 표현 학습 능력을 제공했다.