[論文レビュー] A Library for Learning Neural Operators

Jean Kossaifi, Nikola Kovachki+9 more|arXiv (Cornell University)|Dec 13, 2024

Neural Networks and Applications被引用数 5

ひとこと要約

NeuralOperator は、関数空間間の写像を学習するための最先端のニューラル演算子アーキテクチャとビルディングブロックを提供する、PyTorch ベースのオープンソースライブラリであり、離散化に依存しないトレーニングと推論を、さまざまな入力/出力解像度に跨って可能にします。

ABSTRACT

We present NeuralOperator, an open-source Python library for operator learning. Neural operators generalize neural networks to maps between function spaces instead of finite-dimensional Euclidean spaces. They can be trained and inferenced on input and output functions given at various discretizations, satisfying a discretization convergence properties. Part of the official PyTorch Ecosystem, NeuralOperator provides all the tools for training and deploying neural operator models, as well as developing new ones, in a high-quality, tested, open-source package. It combines cutting-edge models and customizability with a gentle learning curve and simple user interface for newcomers.

研究の動機と目的

• 堅牢で使いやすく、十分に文書化されたライブラリを提供することで、ニューラル演算子法を民主化する。
• さまざまな入力/出力解像度に対してモデルが機能するよう、離散化に依存しない学習を可能にする。
• 開発と実験を加速させるモジュール型のビルディングブロックと事前構築済みアーキテクチャを提供する。
• 実世界の問題にニューラル演算子を適用するためのデータセット、訓練ユーティリティ、効率化ツールを提供する。
• テスト、文書化、CI/CD プロセスを通じて信頼性を確保する。

提案手法

• 任意の離散化で定義された関数上で動作する、解像度に依存しないデータローダー、アーキテクチャ、および損失を実装する。
• 最先端のニューラル演算子アーキテクチャ（例：GNOs、FNOs、TFNOs、SFNOs、GINOs）とそのビルディングブロック（積分変換、テンソル化レイヤ、球面変換）を提供する。
• PDEベースのオペレーター学習のためのデータセットとインターフェースを提供し、ライブラリモジュール経由で自動ダウンロードをホストする。
• 訓練パイプラインを自動化し、離散化収束性を保証するための Trainer モジュールと DataProcessor を含む。
• スペクトルウェイトのテンソル分解、混合精度訓練、インクリメンタル学習、マルチグリッド領域分解などの効率化機能を組み込む。
• 単体テスト、CI/CD バリデーション、インライン文書化、公開APIリファレンスを通じて信頼性を確保する。

Figure 1: Overview of functionalities. The NeuralOperator library provides the full stack required to train and deploy neural operators, including datasets and data loaders , core layers and building blocks , neural operator models , losses and training and efficiency methods .

実験結果

リサーチクエスチョン

• RQ1 異なる離散化をまたいでニューラル演算子の学習をサポートしつつ、離散化収束性の性質を維持するには、ソフトウェアライブラリはどうあるべきか？
• RQ2 PyTorchフレームワーク内で柔軟なニューラル演算子モデリングに不可欠なアーキテクチャとビルディングブロックは何か？
• RQ3 PDEベースのオペレーター学習を効率化するために、データセットと訓練ユーティリティをどう整理すべきか？
• RQ4 大規模なオペレーター訓練を最適に支える効率化と信頼性の技術（例：テンソル化、混合精度、インクリメンタル学習）は何か？

主な発見

• モジュール型で堅牢なパッケージを提供し、すぐに使えるニューラル演算子アーキテクチャとビルディングブロックを備える。
• 複数のアーキテクチャをサポート：Graph Neural Operators (GNOs)、Fourier Neural Operators (FNOs)、Tensorized FNOs (TFNOs)、Spherical Fourier Neural Operators (SFNOs)、Geometry-informed Neural Operators (GINOs)。
• PDE関連タスク（例：Darcyの法則、Burgerの方程式、Navier–Stokes など）向けの便利なデータセットインターフェースと公開データホスティングを提供する。
• 離散化収束を尊重する訓練の自動化を、Trainerおよびデータ処理パイプラインを通じて提供する。
• スペクトルウェイトのテンソル化、混合精度訓練、インクリメンタル学習、マルチグリッドドメイン分解など、メモリ効率の高い訓練ツールを含む。
• 自動化されたテストとドキュメンテーションを用いたレビューにより、堅牢で実世界の利用を支援する。