[論文レビュー] One-Shot Transfer Learning of Physics-Informed Neural Networks

Shaan Desai, Marios Mattheakis+3 more|arXiv (Cornell University)|Oct 21, 2021

Model Reduction and Neural Networks参考文献 20被引用数 6

ひとこと要約

本論文は、線形常微分方程式（ODE）および偏微分方程式（PDE）の即時推論を可能にする、Physics-Informed Neural Networks（PINNs）のワンショット転移学習フレームワークを提案する。事前学習済みの隠れ層を固定し、出力層の最適な重みを閉形式で計算することで、再訓練を伴わず高精度な解を得られる。この手法により、推論時間を桁違いに短縮できる。

ABSTRACT

Solving differential equations efficiently and accurately sits at the heart of progress in many areas of scientific research, from classical dynamical systems to quantum mechanics. There is a surge of interest in using Physics-Informed Neural Networks (PINNs) to tackle such problems as they provide numerous benefits over traditional numerical approaches. Despite their potential benefits for solving differential equations, transfer learning has been under explored. In this study, we present a general framework for transfer learning PINNs that results in one-shot inference for linear systems of both ordinary and partial differential equations. This means that highly accurate solutions to many unknown differential equations can be obtained instantaneously without retraining an entire network. We demonstrate the efficacy of the proposed deep learning approach by solving several real-world problems, such as first- and second-order linear ordinary equations, the Poisson equation, and the time-dependent Schrodinger complex-value partial differential equation.

研究の動機と目的

• 各新しい微分方程式のインスタンスに対して再訓練する際の高い計算コストを低減すること。
• 転移学習を用いて、線形ODEおよびPDEのワンショット推論を可能にすること。
• 事前学習済みPINNの隠れ層を、新しい方程式に対して最小限の適合で再利用可能なフレームワークを構築すること。
• 新しい方程式に対する最適な出力重みが、行列逆行列計算を用いて解析的に計算可能であることを示すこと。
• 時間に依存するシュレーディンガー方程式を含む、実数および複素数値のPDEに対してもこのアプローチを拡張すること。

提案手法

• 線形微分方程式の族に対して事前学習済みのPINNの隠れ層を固定する。
• 新しい方程式の解法を、出力層の重み最適化に限定し、線形ヘッドとして扱う。
• 損失関数と制約項から導かれる正規方程式系の解として、最適な出力重みを定式化する。
• 行列逆行列を用いて出力重みの閉形式解を計算し、ワンショット推論を実現する。
• シュレーディンガー方程式のような複素数値PDEでは、波動関数を実部と虚部に分解し、連立系を同時に解く。
• 初期条件および係数の複数の設定でネットワークを学習させ、解の共有された潜在空間を学習する。

実験結果

リサーチクエスチョン

• RQ1 PINNsにおける転移学習により、再訓練を伴わず未学習の線形微分方程式に対してワンショット推論が可能か？
• RQ2 新しい微分方程式に対する最適な出力重み設定が、行列逆行列を用いて閉形式で計算可能か？
• RQ3 本手法は、ポアソン方程式やシュレーディンガー方程式を含む、さまざまな種類の線形ODEおよびPDEに対してどのように性能を発揮するか？
• RQ4 高周波成分を解く際、F原理が転移学習性能に与える影響は何か？
• RQ5 勾配ベースのファインチューニングを用いることで、非線形系に対してもこのフレームワークを拡張可能か？

主な発見

• 提案手法は、行列逆行列による最適出力重みの計算により、線形ODEおよびPDEに対してワンショット推論を達成し、反復的訓練の必要性を排除する。
• 時間に依存するシュレーディンガー方程式に対して、多様な初期条件およびパラメータにおいて、MSEで測定した誤差が最小限に抑えられる。
• 予測された波動関数の実部および虚部は、テスト設定において解析解と密接に一致し、真値と強い結合を示す。
• 高周波数解に対しても高い精度を維持するが、$p_0$の増加に伴いわずかに性能が低下する傾向にあり、F原理と整合的である。
• 推論時間は著しく短縮され、再訓練に数分から数時間かかっていたのに対し、本手法では数秒で解が得られる。
• 非線形設定においても、出力層に対して勾配降下法を適用することで、高い精度の解が得られ、線形系を超えた堅牢性を示している。