[論文レビュー] Meta Learning of Interface Conditions for Multi-Domain Physics-Informed Neural Networks

Shibo Li, Michael Penwarden+5 more|arXiv (Cornell University)|Oct 23, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、多分野の物理に基づくニューラルネットワーク（PINNs）における最適なインターフェース条件を動的に選択するために、ガウス過程報酬を用いた文脈的多腕バンディットを用いたメタラーニングフレームワーク、METALICを提案する。本手法は、線形でないレグレット成長を達成し、ランダムな条件選択と比較して解の誤差を最大88.5％まで低減する。4つのPDE族において、標準PINNsやヒューリスティックなインターフェース選択を上回る性能を発揮する。

ABSTRACT

Physics-informed neural networks (PINNs) are emerging as popular mesh-free solvers for partial differential equations (PDEs). Recent extensions decompose the domain, apply different PINNs to solve the problem in each subdomain, and stitch the subdomains at the interface. Thereby, they can further alleviate the problem complexity, reduce the computational cost, and allow parallelization. However, the performance of multi-domain PINNs is sensitive to the choice of the interface conditions. While quite a few conditions have been proposed, there is no suggestion about how to select the conditions according to specific problems. To address this gap, we propose META Learning of Interface Conditions (METALIC), a simple, efficient yet powerful approach to dynamically determine appropriate interface conditions for solving a family of parametric PDEs. Specifically, we develop two contextual multi-arm bandit (MAB) models. The first one applies to the entire training course, and online updates a Gaussian process (GP) reward that given the PDE parameters and interface conditions predicts the performance. We prove a sub-linear regret bound for both UCB and Thompson sampling, which in theory guarantees the effectiveness of our MAB. The second one partitions the training into two stages, one is the stochastic phase and the other deterministic phase; we update a GP reward for each phase to enable different condition selections at the two stages to further bolster the flexibility and performance. We have shown the advantage of METALIC on four bench-mark PDE families.

研究の動機と目的

• 多分野PINNsのインターフェース条件選択における体系的指針の欠如が、解の精度と学習安定性に顕著な影響を及えるという問題に対処すること。
• PDEパラメータおよび問題特性に基づいて、最適なインターフェース条件を動的に適応的に選択する方法を構築すること。
• 広範なハイパーパramータチューニングや軌道収集を必要とせず、オンラインで効率的かつ理論保証付きの条件選択を可能にすること。
• 過去の学習経験から学習することで、多様なPDE族にわたる多分野PINNsの性能を向上させること。
• METALICが、ランダムな条件選択や標準的な単一ドメインPINNsでさえも、ニューロン数を減らしても上回ることを示すこと。

提案手法

• PDEパラメータを文脈とし、インターフェース条件をアームとし、解の精度を報酬とする文脈的多腕バンディット（MAB）問題としてインターフェース条件選択を定式化する。
• 報酬関数をモデル化するためにガウス過程（GP）を採用し、UCBまたはトムソンサンプリング（TS）を用いてオンラインで更新する。
• 確率的（ADAM）および決定的（LBFGS）な学習フェーズを別々に最適化する2段階MABモデルを導入する。
• 連続的およびカテゴリカルなカーネルの組み合わせを用いて、文脈-アーム空間を統合的にモデル化し、PDEパラメータと条件セットの両方における効果的な一般化を可能にする。
• オンライン学習を適用して、学習中に継続的に条件選択を最適化し、再トレーニングなしに新しいPDEインスタンスに適応可能にする。
• 提案されたカーネル下で、UCBおよびTSの両方について線形でないレグレットバウンドを理論的に証明し、時間経過とともに最適な条件選択に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングアプローチは、パラメトリックPDE族にわたる多分野PINNsに対して、動的かつ効率的に最良のインターフェース条件を選択できるか？
• RQ2 文脈的MABにガウス過程報酬モデルを組み合わせることで、ランダムまたは固定された条件選択と比較して、より高い解の精度が得られるか？
• RQ3 学習を確率的フェーズと決定的フェーズに分けることで、条件選択の柔軟性と性能が向上するか？
• RQ4 METALICは、標準PINNsやヒューリスティックなインターフェース選択と比較して、解の誤差をどの程度低減できるか？
• RQ5 選択されたインターフェース条件にどのようなパターンが現れ、物理的直感と整合しているか、あるいは非直感的なトレーニング効果を示すか？

主な発見

• METALICは、蓄積誤差の線形成長と比較して著しく遅い、線形でない成長を示した。
• METALICが選択した条件を用いることで、多分野PINNsはランダムなインターフェース条件選択と比較して、解の誤差を最大88.5％まで低減した。
• ニューロン数を減らしても、METALICは標準的な単一ドメインPINNsを上回り、より優れたサンプルおよびパラメータ効率性を示した。
• 移流方程式では、METALICは解の連続性項（$I_{u_{avg}}$）のみを選択し、最小限のインターフェース項で最高の精度を達成した。
• 反応問題では、物理的に非直感的な項（例：時間微分）を選択し、トレーニングを改善した。これは、物理的直感を超える機械学習固有の利点を示している。
• バーガー方程式では、METALICは主にフラックス連続性を選択し、物理的期待と整合しており、全テストケースの中で最大の誤差低減を達成した。