[论文解读] A Library for Learning Neural Operators

Jean Kossaifi, Nikola Kovachki+9 more|arXiv (Cornell University)|Dec 13, 2024

Neural Networks and Applications被引用 5

一句话总结

NeuralOperator 是一个基于 PyTorch 的开源库，提供最前沿的神经算子架构和用于在函数空间之间学习映射的构建块，具有对离散化无关的训练和在输入/输出分辨率变化下的推理能力。

ABSTRACT

We present NeuralOperator, an open-source Python library for operator learning. Neural operators generalize neural networks to maps between function spaces instead of finite-dimensional Euclidean spaces. They can be trained and inferenced on input and output functions given at various discretizations, satisfying a discretization convergence properties. Part of the official PyTorch Ecosystem, NeuralOperator provides all the tools for training and deploying neural operator models, as well as developing new ones, in a high-quality, tested, open-source package. It combines cutting-edge models and customizability with a gentle learning curve and simple user interface for newcomers.

研究动机与目标

• 通过提供一个健壮、易于使用且文档完善的库，使神经算子方法民主化。
• 实现对离散化无关的学习，使模型在不同输入/输出分辨率下工作。
• 提供模块化构建块和预构建架构，以加速开发和试验。
• 提供数据集、训练工具和高效工具，以在现实世界问题上部署神经算子。
• 通过测试、文档和 CI/CD 流程确保可靠性。

提出的方法

• 实现对任意离散化上的函数运算的分辨率无关数据加载器、架构和损失。
• 提供最先进的神经算子架构（例如 GNOs、FNOs、TFNOs、SFNOs、GINOs）及其构建块（积分变换、张量化层、球面变换）。
• 为 PDE 基的算子学习提供数据集和接口，库模块支持自动下载。
• 包含一个 Trainer 模块和 DataProcessor，自动化训练流水线并确保离散化收敛性属性。
• 引入如谱权张量分解、混合精度训练、增量学习和多网格域分解等高效特性。
• 通过单元测试、CI/CD 验证、内联文档和公开 API 参考确保可靠性。

Figure 1: Overview of functionalities. The NeuralOperator library provides the full stack required to train and deploy neural operators, including datasets and data loaders , core layers and building blocks , neural operator models , losses and training and efficiency methods .

实验结果

研究问题

• RQ1 软件库如何在保持离散化收敛性的同时，支持跨不同离散化学习神经算子？
• RQ2 在 PyTorch 框架内，哪些架构和构建块对灵活的神经算子建模至关重要？
• RQ3 如何组织数据集和训练工具，以简化基于 PDE 的算子学习？
• RQ4 哪些高效性与可靠性技术（例如张量化、混合精度、增量学习）最有助于大规模算子训练？

主要发现

• 提供一个模块化、健壮的包，内置神经算子架构和构建块。
• 支持多种架构：Graph Neural Operators (GNOs)、Fourier Neural Operators (FNOs)、Tensorized FNOs (TFNOs)、Spherical Fourier Neural Operators (SFNOs) 和 Geometry-informed Neural Operators (GINOs)。
• 提供便捷的数据集接口和用于 PDE 相关任务的公共数据托管（如 Darcy’s law、Burger’s equation、Navier–Stokes）。
• 通过一个 Trainer 和数据处理管道实现训练自动化，并遵循离散化收敛性。
• 包括内存高效的训练工具，如谱权的张量化、混合精度训练、增量学习和多网格域分解。
• 通过自动化测试和文档来支持强健的现实世界使用。