[论文解读] A foundational neural operator that continuously learns without forgetting

Tapas Tripura, Souvik Chakraborty|arXiv (Cornell University)|Oct 29, 2023

Neural Networks and Applications被引用 5

一句话总结

本文提出神经组合小波神经算子（NCWNO），这是一种科学计算的基础模型，能够持续学习参数化PDE的解算子，且不会发生灾难性遗忘。通过结合门控局部小波专家与基于记忆的集成机制，NCWNO可实现对新PDE的快速适应，仅需极少微调，从而在多种物理系统中实现卓越的泛化能力与正向迁移。

ABSTRACT

Machine learning has witnessed substantial growth, leading to the development of advanced artificial intelligence models crafted to address a wide range of real-world challenges spanning various domains, such as computer vision, natural language processing, and scientific computing. Nevertheless, the creation of custom models for each new task remains a resource-intensive undertaking, demanding considerable computational time and memory resources. In this study, we introduce the concept of the Neural Combinatorial Wavelet Neural Operator (NCWNO) as a foundational model for scientific computing. This model is specifically designed to excel in learning from a diverse spectrum of physics and continuously adapt to the solution operators associated with parametric partial differential equations (PDEs). The NCWNO leverages a gated structure that employs local wavelet experts to acquire shared features across multiple physical systems, complemented by a memory-based ensembling approach among these local wavelet experts. This combination enables rapid adaptation to new challenges. The proposed foundational model offers two key advantages: (i) it can simultaneously learn solution operators for multiple parametric PDEs, and (ii) it can swiftly generalize to new parametric PDEs with minimal fine-tuning. The proposed NCWNO is the first foundational operator learning algorithm distinguished by its (i) robustness against catastrophic forgetting, (ii) the maintenance of positive transfer for new parametric PDEs, and (iii) the facilitation of knowledge transfer across dissimilar tasks. Through an extensive set of benchmark examples, we demonstrate that the NCWNO can outperform task-specific baseline operator learning frameworks with minimal hyperparameter tuning at the prediction stage. We also show that with minimal fine-tuning, the NCWNO performs accurate combinatorial learning of new parametric PDEs.

研究动机与目标

• 解决科学计算中参数化PDE任务专用模型训练存在的高计算成本与可迁移性不足问题。
• 开发一种基础模型，能够从多样化PDE中学习，并以极少再训练实现对新、未见参数化PDE的泛化。
• 克服科学机器学习应用中常见持续学习场景下的灾难性遗忘问题。
• 通过共享特征学习与优化记忆的集成机制，实现在不同物理系统间的正向知识迁移。
• 通过引入支持组合学习与迁移学习的基础模型，为科学机器学习建立新范式。

提出的方法

• NCWNO采用门控架构，动态选择并组合局部小波专家，以提取多个物理系统间的共享特征。
• 每个局部小波专家在小波变换后的函数空间中运行，实现对参数化PDE解算子的多尺度表示。
• 基于记忆的集成机制可存储并检索先前学习过的PDE知识，在持续学习过程中防止灾难性遗忘。
• 模型采用组合学习策略，联合训练多个PDE，促进归纳偏置迁移并提升泛化能力。
• 架构整合共享主干网络与任务特定分支网络，通过微调实现对新PDE的高效适应。
• 训练过程采用自适应优化，结合学习率调度与权重衰减，以稳定跨多样化PDE类型与维度的训练。

实验结果

研究问题

• RQ1 单一神经算子模型能否在保持先前学习任务性能的前提下，学习多个多样化参数化PDE的解算子？
• RQ2 NCWNO在仅需极少微调的情况下，对新、未见参数化PDE的泛化能力有多强？
• RQ3 基于记忆的集成机制在科学机器学习的持续学习场景中，多大程度上能防止灾难性遗忘？
• RQ4 与标准神经算子架构相比，基于小波的局部专家是否能提升特征表示与泛化能力？
• RQ5 尽管动力学与空间结构不同，NCWNO能否在不同物理系统（如Navier-Stokes与Darcy流）之间实现正向迁移？

主要发现

• 在所有基准PDE上，NCWNO在推理阶段仅需极少超参数调优，便优于任务专用基线算子学习框架。
• 模型仅通过100–500次微调训练即可实现对新参数化PDE的精确组合学习，展现出快速适应能力。
• 在持续学习设置中，NCWNO在先前学习的PDE上保持高性能，表现出对灾难性遗忘的强鲁棒性。
• 基于记忆的集成机制实现了正向迁移，即学习新PDE可提升对旧PDE的性能，与标准模型中常见的负向迁移相反。
• NCWNO在多样化PDE中实现了最先进水平的泛化能力，涵盖1D与2D的Burgers、Allen-Cahn、Kuramoto-Sivashinsky、Darcy流、Navier-Stokes与Nagumo方程。
• 基于小波的专家使用显著提升了表征学习能力，尤其在捕捉对PDE解逼近至关重要的多尺度特征方面表现更优。