[論文レビュー] Derivative-Informed Neural Operator: An Efficient Framework for High-Dimensional Parametric Derivative Learning

Thomas O’Leary-Roseberry, Peng Chen+2 more|arXiv (Cornell University)|Jun 21, 2022

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、高次元パラメトリック微分（ヤコビ行列）を低ランク表現で圧縮することで、ニューラルオペレータの学習を向上させるフレームワーク、導出情報付きニューラルオペレータ（DINOs）を提案する。特異値分解（SVD）の切り捨てと低次元基底構造を活用することで、データが限られた状況下でも、関数および導関数の近似精度が著しく向上する。訓練コストは離散化次元に依存しないため、ベイズ逆問題や最適設計といった導関数に基づく外側のループ問題への信頼性ある応用が可能になる。

ABSTRACT

We propose derivative-informed neural operators (DINOs), a general family of neural networks to approximate operators as infinite-dimensional mappings from input function spaces to output function spaces or quantities of interest. After discretizations both inputs and outputs are high-dimensional. We aim to approximate not only the operators with improved accuracy but also their derivatives (Jacobians) with respect to the input function-valued parameter to empower derivative-based algorithms in many applications, e.g., Bayesian inverse problems, optimization under parameter uncertainty, and optimal experimental design. The major difficulties include the computational cost of generating derivative training data and the high dimensionality of the problem leading to large training cost. To address these challenges, we exploit the intrinsic low-dimensionality of the derivatives and develop algorithms for compressing derivative information and efficiently imposing it in neural operator training yielding derivative-informed neural operators. We demonstrate that these advances can significantly reduce the costs of both data generation and training for large classes of problems (e.g., nonlinear steady state parametric PDE maps), making the costs marginal or comparable to the costs without using derivatives, and in particular independent of the discretization dimension of the input and output functions. Moreover, we show that the proposed DINO achieves significantly higher accuracy than neural operators trained without derivative information, for both function approximation and derivative approximation (e.g., Gauss-Newton Hessian), especially when the training data are limited.

研究の動機と目的

• 標準的なニューラルオペレータには導関数の精度が不足しており、これによりベイズ逆問題や最適実験設計といった導関数に基づく外側のループアルゴリズムへの応用が制限されることを解決すること。
• 高次元関数空間では通常、高次元ヤコビ行列データの生成と学習にかかる計算コストが非常に高くなり、実用的でないため、そのコストを削減すること。
• 関数近似の精度を向上させるために、導関数情報をヒルバート的補間の一種として統合し、限られた訓練データでも一般化性能を向上させること。
• 入力・出力の離散化次元に依存しない導出情報付き学習コストを実現するスケーラブルなフレームワークを開発すること。
• 導出情報付き学習が、Gauss–Newtonヘシアンのような高階導関数量の正確な近似を可能にすることを実証すること。

提案手法

• アドジョイントベースの感度解析によりヤコビ行列の訓練データを計算し、PDE解写像を介した効率的なバックプロパゲーションを可能にする。
• 高次元ヤコビ行列行列を低ランク表現に圧縮するために、切り捨てられた特異値分解（SVD）を適用し、パラメトリック微分に内在する低ランク構造を活用する。
• 関数出力とその導関数の両方の誤差をペナルティとする修正された損失関数を用いて、導関数情報をニューラルオペレータの学習に統合する。
• 低次元基底構造を用いることで、導関数学習コストが全離散化次元ではなく低次元基底次元に比例するようにし、スケーラビリティを確保する。
• 汎用エンコーダ・デコーダネットワークと、特定の低次元基底ネットワーク（例：DIPNets）の両方をサポートし、特に高次元問題では後者が優れたスケーラビリティを示す。
• 関数と導関数の両方の監視を組み合わせたハイブリッド損失関数を用い、導関数項の重みは圧縮されたヤコビ行列ノルムによってバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 限られた訓練データ下でも、高次元関数空間におけるパラメトリック写像近似の精度が、導出情報付きニューラルオペレータによって著しく向上するか？
• RQ2 入力・出力関数の離散化次元に依存しない、導出情報付き学習の計算コストを実現できるか？
• RQ3 Gauss–Newtonヘシアンのような高階導関数量の正確な近似が、導出情報付き学習によって可能になるか？これは、高度なサンプリングおよび最適化アルゴリズムに不可欠である。
• RQ4 低ランク圧縮を用いた導関数情報の統合により、関数出力のみで学習する標準的なニューラルオペレータよりも、一般化性能が向上するか？
• RQ5 高次元PDE設定における導出情報付き学習において、低次元基底構造を用いたアーキテクチャと汎用エンコーダ・デコーダネットワークは、スケーラビリティと精度の点でどのように比較されるか？

主な発見

• 限られたデータで学習した場合、DINOsは標準的なニューラルオペレータに比べて10–20%高い関数近似精度を達成する。これは、導出情報付き補間制約のおかげである。
• 関数出力のみで学習したニューラルオペレータは、すべてのテストケースでGauss–Newtonヘシアンを正確に近似できなかったが、DINOsは対流反応拡散問題において70%以上の精度を達成した。
• 超弾性問題では、大規模な訓練データを用いた汎用エンコーダ・デコーダネットワークでも、導出データが使用された場合にのみ90%以上のGauss–Newtonヘシアン精度が達成された。
• 低次元基底構造を用いたアーキテクチャでは、離散化次元が増加しても導出学習コストが一定を保つが、汎用アーキテクチャではスケーリングが非現実的になるため、構造に配慮した設計の必要性が示された。
• 導出情報付き学習により、逆問題の勾配を>90%の精度で近似可能であり、非導出情報付き学習のものに比べて通常20–30%高い精度を達成した。
• フレームワークにより、ヤコビ行列計算の amortization と、切り捨てられたSVDによる導出情報の圧縮により、データ生成コストと学習コストを最小限にまで削減した。