[論文レビュー] Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning

Qian Zhang, Chenxi Wu+5 more|arXiv (Cornell University)|Aug 31, 2023

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本稿では、エネルギー効率の高い科学的機械学習のため、物理情報付きニューラルネットワーク（PINNs）および分離可能PINNs（SPINNs）をスパikingニューラルネットワーク（SNNs）に変換する新規手法を提案する。tanhや正弦関数を含む任意の活性化関数へのSNNキャリブレーションの拡張と、収束の証明により、ナビエ＝ストークス方程式を含む微分方程式における正確で低スパイクレートのSNN推論が可能となり、複雑な流体力学的問題において最大17.5%のスパイクレートと5%未満の相対L²誤差を達成した。

ABSTRACT

We introduce a method to convert Physics-Informed Neural Networks (PINNs), commonly used in scientific machine learning, to Spiking Neural Networks (SNNs), which are expected to have higher energy efficiency compared to traditional Artificial Neural Networks (ANNs). We first extend the calibration technique of SNNs to arbitrary activation functions beyond ReLU, making it more versatile, and we prove a theorem that ensures the effectiveness of the calibration. We successfully convert PINNs to SNNs, enabling computational efficiency for diverse regression tasks in solving multiple differential equations, including the unsteady Navier-Stokes equations. We demonstrate great gains in terms of overall efficiency, including Separable PINNs (SPINNs), which accelerate the training process. Overall, this is the first work of this kind and the proposed method achieves relatively good accuracy with low spike rates.

研究の動機と目的

• 訓練済みPINNsをスパikingニューラルネットワーク（SNNs）に変換することで、科学的機械学習におけるエネルギー効率の良い推論を実現すること。
• SNNキャリブレーション技術をReLUに限定せず、PINNsで用いられるtanhや正弦関数のような任意の非線形活性化関数へ拡張すること。
• 一般化キャリブレーション手法の収束定理を証明し、変換過程での精度保持を保証すること。
• 偏微分方程式（PDE）を含む回帰タスク、特に非定常ナビエ＝ストークス流れにおいて、本手法の有効性を示すこと。
• 神経モルフィックハードウェアへの効率的デプロイメントを可能にするために、SNNにおける低スパイクレートを達成すること。

提案手法

• SNNキャリブレーションを一般化し、誤差境界に訓練損失を追加項として組み込むことで、元来ReLUの2階微分がゼロであることに依存していた前提を緩和する。
• 一般化キャリブレーションの収束定理を証明し、SNN出力が元のANNを有界誤差内で近似することを保証する。
• 変換プロセスは、標準PINNsおよびSPINNsの両方に対して、ネットワークアーキテクチャと活性化関数を保持したまま適用する。
• PINNsで一般的な滑らかな非ReLU活性化関数（tanhや正弦関数など）をサポートし、より広範な適用可能性を実現する。
• SNN推論は、ポアソン方程式、拡散反応方程式、波動方程式、バーガース方程式、ナビエ＝ストークス方程式を含む複数のPDEに対して、スパイクレートとL²誤差の指標で評価される。
• 本手法はSPINNsにも適用可能であり、変数を独立して処理することで学習を高速化し、さらなる効率性向上を実現する。

Figure 1: Illustration of $\operatorname{ClipFloor}$ function and its relationship to $\operatorname{ReLU}$ (left) and $\tanh$ (right).

実験結果

リサーチクエスチョン

• RQ1 SNNキャリブレーションは、ReLUに限定されず、PINNsで用いられる滑らかな活性化関数（tanhや正弦関数など）に対しても一般化可能か？
• RQ2 提案されたキャリブレーション手法は、PDEを解くためにPINNsからSNNに変換する際、ネットワークの精度を保持できるか？
• RQ3 科学的機械学習タスクにおいて、変換されたSNNが低スパイクレートを達成でき、エネルギー効率が高いか？
• RQ4 変換されたSNNの性能は、元のPINNまたはSPINNと比較して、誤差および推論速度の面で優れているか？
• RQ5 本手法は、非定常ナビエ＝ストークス方程式のような複雑なPDEに対しても効果的に適用可能か？

主な発見

• 一般化SNNキャリブレーション手法は、非定常ナビエ＝ストークスベルトラミ流れ問題において相対L²誤差4.33%を達成し、高い精度を示した。
• SPINNから変換されたSNNは、ナビエ＝ストークス問題においてわずか17.54%のスパイクレートを達成し、顕著な計算効率を示した。
• 全テスト方程式において低スパイクレートを維持しており、拡散反応方程式で最も低く、28.79%であった。
• SNN変換により精度が保持され、全テスト問題においてL²誤差が8.3×10⁻³未満に抑えられ、最も複雑なナビエ＝ストークスケースでも同様であった。
• スパースで低活動のスパイクパターンを保証することで、神経モルフィックハードウェア上でのエネルギー効率の良い推論を可能にした。
• 理論的収束保証により、多様な活性化関数およびPDEにわたり、信頼性の高い性能が保証された。

(a) T=8