[論文レビュー] Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs)

Jassem Abbasi, Pål Østebø Andersen|arXiv (Cornell University)|May 29, 2022

Machine Learning in Materials Science被引用数 9

ひとこと要約

本稿では、物理的境界条件や解析解から導出された数学的形態を持つ活性化関数を用いて、物理に基づくニューラルネットワーク（PINNs）の活性化関数に物理法則を直接埋め込む、新しい手法である物理的活性化関数（PAFs）を提案する。標準的な活性化関数（例：ReLU）の代わりに物理的インスピレーションを受けて設計された関数を用いることで、PAFsはPINNの学習効率を著しく向上させ、モデルサイズを最大75%まで削減し、損失値を1〜2桁低下させ、分布外データへの一般化性能を向上させる。

ABSTRACT

In recent years, the gap between Deep Learning (DL) methods and analytical or numerical approaches in scientific computing is tried to be filled by the evolution of Physics-Informed Neural Networks (PINNs). However, still, there are many complications in the training of PINNs and optimal interleaving of physical models. Here, we introduced the concept of Physical Activation Functions (PAFs). This concept offers that instead of using general activation functions (AFs) such as ReLU, tanh, and sigmoid for all the neurons, one can use generic AFs that their mathematical expression is inherited from the physical laws of the investigating phenomena. The formula of PAFs may be inspired by the terms in the analytical solution of the problem. We showed that the PAFs can be inspired by any mathematical formula related to the investigating phenomena such as the initial or boundary conditions of the PDE system. We validated the advantages of PAFs for several PDEs including the harmonic oscillations, Burgers, Advection-Convection equation, and the heterogeneous diffusion equations. The main advantage of PAFs was in the more efficient constraining and interleaving of PINNs with the investigating physical phenomena and their underlying mathematical models. This added constraint significantly improved the predictions of PINNs for the testing data that was out-of-training distribution. Furthermore, the application of PAFs reduced the size of the PINNs up to 75% in different cases. Also, the value of loss terms was reduced by 1 to 2 orders of magnitude in some cases which is noteworthy for upgrading the training of the PINNs. The iterations required for finding the optimum values were also significantly reduced. It is concluded that using the PAFs helps in generating PINNs with less complexity and much more validity for longer ranges of prediction.

研究の動機と目的

• ニューラルネットワークのアーキテクチャと物理法則の間の適切な混合が不十分であることが原因で生じる、物理に基づくニューラルネットワーク（PINNs）の学習における非効率性と不安定性を是正すること。
• PINNの複雑さとサイズを低減しつつ、分布外データへの一般化性能を向上させること。
• 活性化関数が汎用的であるのではなく、物理的原理や対応する偏微分方程式（PDE）の解析解に基づいて導出されることを含む、新しいパラダイムを提案すること。
• PAFsが複数のベンチマークPDEにおいて、PINN学習の収束速度を向上させ、損失値を低減することを実証すること。

提案手法

• PAFsは、解こうとしているPDEの既知の解析解、初期条件、または境界条件から、活性化関数の関数的形を導出することで構築される。
• 標準的な活性化関数（例：ReLUやtanh）の代わりに、系の物理的挙動を反映した数学的に根拠のある関数がPAFsで使用される。
• PAFsはニューラルネットワークのアーキテクチャに統合され、隠れニューロンに適用される。これにより、物理的制約がネットワークのインダクティブバイアスに直接埋め込まれる。
• この手法は、調和振動、バーガース方程式、対流拡散方程式、不均一拡散方程式など、複数のPDEに対して検証された。
• 標準的なPINNの損失最小化手法を用いて学習が行われるが、物理的一致性を初期段階から強制するために、標準的な活性化関数の代わりにPAFsが使用される。
• 性能は、損失の低減、モデルサイズ、収束速度、および分布外テストデータへの一般化性能の観点から評価された。

実験結果

リサーチクエスチョン

• RQ1 物理法則を活性化関数に直接埋め込むことで、PINNの学習効率と正確性が向上するか？
• RQ2 PAFsは、予測性能を維持または向上させつつ、PINNアーキテクチャのサイズと複雑さをどの程度低減できるか？
• RQ3 標準的な活性化関数と比較して、PAFsはPINNの収束速度と損失関数の形状にどのような影響を与えるか？
• RQ4 PAFsは、訓練データに十分にカバーされていない領域を含む分布外データに対しても、PINNの一般化性能を向上させることができるか？
• RQ5 PAFsは、ベースラインモデルと比較して、PINN学習における損失項の大きさにどのような影響を与えるか？

主な発見

• PAFsは複数のテストケースにおいて、PINNモデルのサイズを最大75%まで削減し、モデルの複雑さを顕著に低減した。
• PAFsを用いたPINNの学習では、損失値が1〜2桁低下し、最適化の改善と制約の適切な満たしを示した。
• 収束が加速され、最適な学習性能に到達するまでの反復回数が顕著に減少した。
• PAFsを用いたPINNは、分布外テストデータに対して優れた一般化性能を示し、標準的なPINNが失敗する領域でも高い正確性を維持した。
• PAFsが導入した物理的インダクティブバイアスにより、予測範囲が広がった場合でも、より妥当で物理的に整合性のある予測が得られた。
• PAFsは、調和振動、バーガース方程式、対流拡散方程式、不均一拡散方程式など、多様なPDEに対して成功裏に検証された。