[論文レビュー] Reliable extrapolation of deep neural operators informed by physics or sparse observations

Min Zhu, Handi Zhang+3 more|arXiv (Cornell University)|Dec 13, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文は、微分方程式のパラメトリックな境界値問題を対象とした深層ニューラルオペレータ（DeepONet）における信頼性の高い外挿を可能にするフレームワークを提案する。物理法則やスパース観測を微調整またはマルチフィデリティ学習によって統合することで実現する。また、外挿の複雑さを測るためのワッサーシュタイン距離に基づく指標を導入し、物理法則に適合するか、観測に適合する手法が、複数のパラメトリックPDEにおいて分布外誤差を顕著に低減することを示している。特に、主要なベンチマークでは誤差が10^{-6}未満にまで低下している。

ABSTRACT

Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.

研究の動機と目的

• 標準的なモデルが高誤差のために訓練分布を超えて外挿できないという、深層ニューラルオペレータの顕著な限界に対処すること。
• 関数空間間の2-ワッサーシュタイン距離を用いて、DeepONetsの外挿挙動を体系的に分析し、外挿の複雑さを定量化すること。
• 分布外入力における一般化性能とモデル容量の関係を示すバイアス-バリアンストレードオフのフレームワークを構築すること。
• 微調整またはマルチフィデリティ学習に基づく5つの信頼性の高い学習手法を提案し、訓練範囲外の入力に対しても安全な予測を保証すること。
• 利用可能なデータ、必要な精度、推論速度に基づいて最適な手法を選択するための実用的ガイドラインを提供すること。

提案手法

• 入力関数空間（例：相関長lのガウス過程）とテスト分布との間の2-ワッサーシュタイン距離を用いて、外挿の複雑さを定量化する。
• 外挿における新たなバイアス-バリアンストレードオフ分析を導入し、分布外領域における過学習や不足学習を避けるために、モデル容量を慎重に調整する必要があることを示す。
• 事前学習済みDeepONetに物理的制約をインダクティブバイアスとして組み込むために、物理法則に基づく損失関数を追加した微調整戦略を開発する。
• 低・高フィデリティデータを統合するためのマルチフィデリティガウス過程回帰（MFGPR）を実装し、問題固有の滑らかさに適合したカーネル選択（例：マタニン）を適用する。
• トレUNKおよびブランチネットにおける表現能力と一般化性能を向上させるために、層ごとの局所的適応型活性化関数（L-LAAF）を導入する。
• DeepONetをまず入力分布の集合で事前学習し、その後PDE制約またはスパース観測を用いて微調整することで、外挿性能を向上させるハイブリッドトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 関数空間間の2-ワッサーシュタイン距離は、DeepONetsにおける外挿の複雑さをどのように定量化できるか？
• RQ2 外挿におけるバイアス-バリアンストレードオフの性質は何か？ モデル容量は分布外入力における一般化性能にどのように影響するか？
• RQ3 物理法則に適合する微調整またはスパース観測に基づく適応は、DeepONetsの外挿性能を信頼性高く改善できるか？
• RQ4 高フィデリティデータが限られる状況で、マルチフィデリティ学習とMFGPRは、外挿のロバストネスをどのように向上させるか？
• RQ5 多様なPDEにわたる信頼性の高い外挿を実現するための最適なハイパーパrameter（例：学習率、カーネルタイプ、スケーリング係数）は何か？

主な発見

• 2-ワッサーシュタイン距離は、外挿の複雑さを定量的に測る指標を提供し、訓練分布とテスト分布との間の距離が大きいほど予測誤差が高くなる傾向があることを示している。
• 物理的制約を組み込んだ微調整により、原始関数オペレータではL²相対誤差が10^{-6}未満に低下し、他のPDEに対しても10^{-5}未満にまで低下する。これは、高フィデリティデータが限られた状況でも成立する。
• 微調整とスパース観測を統合したFT-Obs-T手法は、観測数や相関長の変動に対しても安定した性能を示し、最適なλ値は経験的に決定された。
• マタニンカーネル（ν=1.5）を用いたマルチフィデリティガウス過程回帰（MFGPR）は、リーマン・ボレル（RBF）カーネルを上回り、リーマン・ドライブン・キャビティ流れ問題では誤差を桁違いに低減した。
• 調整済みスケーリング係数（tanhではn=2、SiLUではn=10など）を用いた層ごとの局所的適応型活性化関数（L-LAAF）は、複雑なPDEにおいて一般化性能を向上させ、外挿誤差を低減した。
• 体系的な比較により、物理法則に適合する微調整とマルチフィデリティ学習が外挿において最も信頼性が高く、性能はデータの可用性と必要な精度に依存することが示された。