[論文レビュー] Multifidelity Deep Operator Networks For Data-Driven and Physics-Informed Problems

Amanda A. Howard, Mauro Perego+2 more|arXiv (Cornell University)|Apr 19, 2022

Model Reduction and Neural Networks参考文献 55被引用数 9

ひとこと要約

本稿では、低精度および高精度のデータを統合することで、データ駆動型および物理情報に基づく問題における演算子学習を向上させる、マルチファシリティ・ディープオペレーターネットワーク（DeepONet）を提案する。低精度と高精度の間の非線形相関を活用し、物理的制約を組み込むことで、高精度データが不足している場合やノイズが多い場合でも、単一の精度レベルの手法よりも高い精度を達成する。

ABSTRACT

Operator learning for complex nonlinear systems is increasingly common in modeling multi-physics and multi-scale systems. However, training such high-dimensional operators requires a large amount of expensive, high-fidelity data, either from experiments or simulations. In this work, we present a composite Deep Operator Network (DeepONet) for learning using two datasets with different levels of fidelity to accurately learn complex operators when sufficient high-fidelity data is not available. Additionally, we demonstrate that the presence of low-fidelity data can improve the predictions of physics-informed learning with DeepONets. We demonstrate the new multi-fidelity training in diverse examples, including modeling of the ice-sheet dynamics of the Humboldt glacier, Greenland, using two different fidelity models and also using the same physical model at two different resolutions.

研究の動機と目的

• 複雑なマルチフィジックス系のディープオペレーターネットワークの学習において、高精度データが不足するという課題に対処すること。
• より豊富に入手可能だが精度が低い低精度データを学習プロセスに統合することで、単一の精度レベルの学習の限界を克服すること。
• データおよび物理情報に基づく制約を組み合わせたマルチファシリティ学習を通じて、DeepONetに基づく演算子近似の一般化性能と精度を向上させること。
• ノイズを含む低精度データに対して、フレームワークの頑健性を示し、高精度予測に必要なデータ量を削減する有効性を実証すること。
• 高精度のシミュレーションや測定が高コストである実世界の問題、例えばアイスシートの動態にまで、DeepONetの適用範囲を拡張すること。

提案手法

• 低精度および高精度の入力に対して別々のブランチネットワークと共有トランクネットワークを備えた複合DeepONetアーキテクチャを構築する。
• 低精度および高精度のデータセットの両方のデータ適合項を組み合わせた損失関数を用いてモデルを訓練し、共同最適化を可能にする。
• 自動微分を用いて物理情報に基づく制約を組み込み、高精度出力に対して偏微分方程式（PDE）を強制する。高精度データが限られている場合でも有効である。
• 2段階の訓練戦略を採用する：まず低精度データで事前学習を行い、その後高精度データまたは物理情報に基づく制約でファインチューニングする。
• 損失関数において、低精度データ、高精度データ、物理情報に基づく項の寄与をバランスさせるための重み付けスキームを適用する。
• より多くの精度レベルを扱うために、高精度データストリーム用の追加ブランチネットワークを追加することで、フレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 高精度データが不足している状況で、低精度および高精度データを統合することで、DeepONetに基づく演算子学習の精度が向上するか？
• RQ2 低精度データの統合が、物理情報に基づくDeepONetの収束性および一般化性能に与える影響はいかほどか？
• RQ3 高精度データが僅かにしか入手できない状況で、物理情報に基づく制約がモデル性能をどの程度向上させ得るか？
• RQ4 低精度データにノイズが含まれる場合、マルチファシリティDeepONetフレームワークの頑健性はどの程度か？
• RQ5 高精度観測が限られている状況でも、本手法が氷河の動態のような実世界の高次元問題に効果的に適用可能か？

主な発見

• 高精度データが限られている状況では、マルチファシリティDeepONetが単一の精度レベルのベースラインよりも顕著に低い予測誤差を達成する。
• 粘性バーガース方程式の例では、高精度データが200サンプルしかなくとも、データのみまたは物理のみで学習した場合と比較して、誤差を最大50％まで削減した。
• 低精度データにノイズが含まれる場合でも、複数のノイズレベルにわたり高い精度を維持するという、高い頑健性を示した。
• 物理情報に基づくマルチファシリティ学習は、データのみまたは物理のみの学習を上回り、データと物理的制約の相乗効果を示した。
• 2種類の異なる数値モデル（低精度および高精度）を用いて、フンボルト氷河の動態を正確にモデル化し、高精度データが最小限でも高精度の予測を達成した。
• 本手法は複数の精度レベルを含む問題へ一般化可能であり、損失関数を変更することで部分的な物理的知識の統合も可能である。