[論文レビュー] Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks

Raghav Gnanasambandam, Bo Shen+4 more|arXiv (Cornell University)|Apr 26, 2022

Model Reduction and Neural Networks被引用数 14

ひとこと要約

この論文では、勾配の流れを向上させ、入出力マッピングの体系的スケーリングを可能にする、トレーニング可能で滑らかで飽和しない活性化関数である Self-scalable Tanh (Stan) を提案する。Stan は余計な停留点を排除し、特に高出力マグニチュードの問題において、収束が速く一般化性能が優れている。偏微分方程式（PDE）を含む前向きおよび逆問題において、既存の活性化関数を上回る性能を発揮する。

ABSTRACT

Physics-informed Neural Networks (PINNs) are gaining attention in the engineering and scientific literature for solving a range of differential equations with applications in weather modeling, healthcare, manufacturing, etc. Poor scalability is one of the barriers to utilizing PINNs for many real-world problems. To address this, a Self-scalable tanh (Stan) activation function is proposed for the PINNs. The proposed Stan function is smooth, non-saturating, and has a trainable parameter. During training, it can allow easy flow of gradients to compute the required derivatives and also enable systematic scaling of the input-output mapping. It is shown theoretically that the PINNs with the proposed Stan function have no spurious stationary points when using gradient descent algorithms. The proposed Stan is tested on a number of numerical studies involving general regression problems. It is subsequently used for solving multiple forward problems, which involve second-order derivatives and multiple dimensions, and an inverse problem where the thermal diffusivity of a rod is predicted with heat conduction data. These case studies establish empirically that the Stan activation function can achieve better training and more accurate predictions than the existing activation functions in the literature.

研究の動機と目的

• 勾配消失と出力スケールの不安定性が、物理的制約付きニューラルネットワーク（PINNs）の学習と一般化を妨げる問題に対処すること。
• PINNs のバックプロパゲーション中に滑らかでスケーラブルかつトレーニング可能な勾配の流れを可能にする活性化関数を開発すること。
• 理論的根拠に基づいた活性化関数を用いて、PINN 最適化における余計な停留点を排除すること。
• 偏微分方程式（PDE）を含む前向きおよび逆問題において、学習速度と予測精度を向上させること。
• 標準の活性化関数が失敗する高マグニチュード出力のシナリオにおいても、頑健な性能を発揮できること。

提案手法

• 各ニューロンごとにトレーニング可能なパラメータ $ \beta $ を持つ、新しい活性化関数である Self-scalable Tanh (Stan) を定義：$ \text{Stan}(x) = \beta \cdot \tanh(x) $。
• PINN の隠れ層に Stan を統合し、活性化の動的スケーリングと勾配伝搬の改善を可能にする。
• 理論的に、勾配降下法を用いた PINN が Stan を使用する場合、余計な停留点が存在しないことを証明し、グローバル最小値への収束を保証する。
• データ適合項と物理的整合性項を含む損失関数を定式化し、微分可能である Stan 関数を通じて勾配をバックプロパゲーションで計算する。
• 確率的勾配降下法を用いて、ネットワーク重みとトレーニング可能な $ \beta $ パラメータを同時に最適化する。
• 出力正規化の必要性を回避するため、$ \beta $ の自己スケーリング特性を活用して、正規化フリーの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能な活性化関数は、PINN 最適化における余計な停留点を排除でき、グローバル最小値への収束を保証できるか？
• RQ2 Stan の自己スケーリング特性は、高出力マグニチュード問題を有する PINN における勾配の流れと学習安定性をどのように向上させるか？
• RQ3 前向きおよび逆問題における PDE の解法において、Stan は標準の活性化関数（例：tanh、ReLU、SELU）を上回る収束速度と予測精度を達成するか？
• RQ4 出力正規化を必要とせずに、2階微分を含む偏微分方程式や複数の空間次元を持つ問題を効果的に処理できるか？
• RQ5 熱伝導データから熱拡散率を同定するような逆問題において、Stan はどのように性能を発揮するか？

主な発見

• 理論的に証明されたように、Stan は PINN 最適化における余計な停留点を排除し、勾配降下法がグローバル最小値への収束を保証する。
• すべてのテストされた回帰問題、前向き問題、逆問題において、ベースラインの活性化関数よりも Stan は収束が速い。
• 出力マグニチュードが大きい問題（例：0–2000°C の温度）では、Stan は標準的な活性化関数が勾配消失のためしばしば失敗する状況でも顕著に優れた性能を発揮する。
• 熱拡散率を同定する逆問題において、Stan は既存の活性化関数よりもより正確で安定した予測を達成した。
• 実験的結果から、Stan は一般化性能に優れ、前向きおよび逆 PDE タスクにおいて未学習のデータポイントに対してもより正確な予測を生成することが示された。
• トレーニング可能な $ \beta $ パラメータにより、出力範囲の自動スケーリングが可能となり、データ正規化の必要性がなくなり、実世界の応用における頑健性が向上した。