[論文レビュー] Is it time to swish? Comparing activation functions in solving the Helmholtz equation using physics-informed neural networks

Ali Al-Safwan, Chao Song+1 more|arXiv (Cornell University)|Oct 11, 2021

Model Reduction and Neural Networks参考文献 7被引用数 6

ひとこと要約

本稿は、地震波場モデリングにおけるヘルムホルツ方程式を解くための物理情報付きニューラルネットワーク（PINN）における、さまざまな活性化関数の性能に及ぼす影響を調査している。特に、急激な速度異方性を示すモデルにおいて、tanh、atan、ELUといった一般的に用いられる代替関数と比較して、swish活性化関数が収束速度と解の精度を顕著に向上させることを示している。

ABSTRACT

Solving the wave equation numerically constitutes the majority of the computational cost for applications like seismic imaging and full waveform inversion. An alternative approach is to solve the frequency domain Helmholtz equation, since it offers a reduction in dimensionality as it can be solved per frequency. However, computational challenges with the classical Helmholtz solvers such as the need to invert a large stiffness matrix can make these approaches computationally infeasible for large 3D models or for modeling high frequencies. Moreover, these methods do not have a mechanism to transfer information gained from solving one problem to the next. This becomes a bottleneck for applications like full waveform inversion where repeated modeling is necessary. Therefore, recently a new approach based on the emerging paradigm of physics informed neural networks (PINNs) has been proposed to solve the Helmholtz equation. The method has shown promise in addressing several challenging associated with the conventional algorithms, including flexibility to model additional physics and the use of transfer learning to speed up computations. However, the approach still needs further developments to be fully practicable. Foremost amongst the challenges is the slow convergence speed and reduced accuracy, especially in presence of sharp heterogeneities in the velocity model. Therefore, with an eye on exploring how improved convergence can be obtained for the PINN Helmholtz solvers, we study different activation functions routinely used in the PINN literature, in addition to the swish activation function - a variant of ReLU that has shown improved performance on a number of data science problems. Through a comparative study, we find that swish yields superior performance compared to the other activation functions routinely used in the PINN literature.

研究の動機と目的

• 急激な速度異方性が存在する状況において、PINNベースのヘルムホルツソルバーの収束が遅く、精度が低下する問題に対処すること。
• 波場モデリングにおけるPINNの学習ダイナミクスと解の品質に及ぼすさまざまな活性化関数の影響を評価すること。
• 深層学習で優れた性能を示すことで知られるswish活性化関数が、ヘルムホルツ方程式を解くためのPINN性能を向上させるかどうかを特定すること。
• 波動伝搬における物理情報付きディープラーニングの収束加速と精度向上のための最適な活性化関数の選定に、実証的証拠を提供すること。

提案手法

• 本研究では、2スキャッタ速度モデルにおけるヘルムホルツ方程式のリッピマン＝シュヴィンガー形式を解くために、物理情報付きニューラルネットワーク（PINN）を採用している。
• PINNは、ヘルムホルツ方程式の残差を強制する損失関数を用いて学習され、空間微分は自動微分を用いて計算されている。
• 8層の全結合隠れ層を用い、各層に20個のニューロンを配置し、バッチサイズ256で15,000エポックにわたりAdam最適化子を用いて学習を行っている。
• tanh、atan、ELU、およびswish（滑らかで単調でないReLUの変種）の5種類の活性化関数を比較しており、公平な比較のためすべてのハイパーパrameterを同一に保っている。
• PINNの実装と損失関数の計算には、高レベルのKeras/TensorFlowラッパーであるSciANNパッケージが使用されている。
• 収束性は損失履歴曲線を用いて評価され、解の精度は波場の実部および虚部の両方についてL2およびL∞ノルムを用いて定量的に評価されている。

実験結果

リサーチクエスチョン

• RQ1 swish活性化関数は、tanh、atan、ELUといった標準的な活性化関数と比較して、PINNベースのヘルムホルツソルバーにおける収束速度と精度を向上させるか？
• RQ2 急激な速度対比を伴うヘルムホルツ方程式を解く際、さまざまな活性化関数がPINNの学習ダイナミクスにどのように影響を与えるか？
• RQ3 swishが優れた勾配フロー特性を示すことが、高周波数波場問題を学習するPINNにおける消失勾配問題の緩和に寄与するか？
• RQ4 活性化関数の選択が、例えば全波形反復法のような応用における繰り返し波場モデリングへのPINNの実用可能性に、どの程度影響を与えるか？

主な発見

• swish活性化関数は最も速い収束速度を達成しており、最初の2000エポックにおいてtanh、atan、ELUと比較して損失がより著しく減少している。
• swishは、実部および虚部の両方の波場成分について最小のL2誤差を達成している：実部では3.65×10⁻⁵、虚部では4.7×10⁻⁵であり、他のすべての活性化関数を上回っている。
• swishはL∞誤差についても最小値を示しており、実部では9.86×10⁻³、虚部では1.58×10⁻²であり、最大誤差の制御が優れていることが示された。
• 空間的分布における波場誤差の大きさは、図3に示すように、swish活性化関数を用いたPINNが他の活性化関数と比較して顕著に低くなっている。
• 損失曲線から、swishはより低いプラトーに早く到達しており、これによりL-BFGSのような2次最適化子への早期切り替えが可能となり、さらなる収束加速が期待できる。
• 標準的な活性化関数の中で、ELUが最も悪い性能を示し、L2およびL∞誤差が最大であった。一方、tanhとatanはswishほど優れてはいなかったが、互いに類似した性能を示していた。