[论文解读] Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning

Qian Zhang, Chenxi Wu+5 more|arXiv (Cornell University)|Aug 31, 2023

Neural Networks and Reservoir Computing被引用 4

一句话总结

本文提出了一种新颖方法，将物理信息神经网络（PINNs）和可分物理信息神经网络（SPINNs）转换为脉冲神经网络（SNNs），以实现能效更高的科学机器学习。通过将SNN校准扩展至任意激活函数（包括tanh和sine），并证明其收敛性，该方法实现了在Navier-Stokes等微分方程上的精确、低脉冲率SNN推理，复杂流体动力学问题中脉冲率最高达17.5%，相对L²误差低于5%。

ABSTRACT

We introduce a method to convert Physics-Informed Neural Networks (PINNs), commonly used in scientific machine learning, to Spiking Neural Networks (SNNs), which are expected to have higher energy efficiency compared to traditional Artificial Neural Networks (ANNs). We first extend the calibration technique of SNNs to arbitrary activation functions beyond ReLU, making it more versatile, and we prove a theorem that ensures the effectiveness of the calibration. We successfully convert PINNs to SNNs, enabling computational efficiency for diverse regression tasks in solving multiple differential equations, including the unsteady Navier-Stokes equations. We demonstrate great gains in terms of overall efficiency, including Separable PINNs (SPINNs), which accelerate the training process. Overall, this is the first work of this kind and the proposed method achieves relatively good accuracy with low spike rates.

研究动机与目标

• 通过将训练好的PINNs转换为脉冲神经网络（SNNs），实现在科学机器学习中的能效推理。
• 将SNN校准技术从ReLU扩展至任意非线性激活函数（如tanh和sine），这些激活函数常见于PINNs中。
• 为广义校准方法证明收敛定理，确保转换过程中网络精度得以保持。
• 在涉及偏微分方程的回归任务中（包括非定常Navier-Stokes流）验证该方法的有效性。
• 在SNN中实现低脉冲率，以支持在神经形态硬件上的高效部署。

提出的方法

• 通过在误差界中引入训练损失作为附加项，将SNN校准推广至更广范围，缓解了以往对ReLU的二阶导数为零的依赖。
• 为广义校准方法证明了收敛定理，确保SNN输出在有界误差范围内逼近原始ANN。
• 转换过程将校准后的SNN变换应用于标准PINNs和SPINNs，保持网络架构和激活函数不变。
• 该方法支持PINNs中常见的平滑非ReLU激活函数（如tanh和sine），提升了应用范围。
• 通过脉冲率和L²误差指标评估SNN推理性能，覆盖Poisson、扩散-反应、波动、Burgers和Navier-Stokes方程等多种PDE。
• 该方法也应用于SPINNs，其通过独立处理变量加速训练，进一步提升效率。

Figure 1: Illustration of $\operatorname{ClipFloor}$ function and its relationship to $\operatorname{ReLU}$ (left) and $\tanh$ (right).

实验结果

研究问题

• RQ1 SNN校准能否超越ReLU，支持PINNs中使用的平滑激活函数（如tanh和sine）？
• RQ2 所提出的校准方法在将PINNs转换为SNNs求解PDE时，是否能保持网络精度？
• RQ3 该转换能否在科学机器学习任务中实现低脉冲率，体现能效优势？
• RQ4 转换后的SNN在误差和推理速度方面与原始PINN或SPINN相比表现如何？
• RQ5 该方法能否有效应用于复杂PDE（如非定常Navier-Stokes方程）？

主要发现

• 广义SNN校准方法在非定常Navier-Stokes Beltrami流动问题上实现了4.33%的相对L²误差，证明了高精度。
• 从SPINN转换而来的SNN在Navier-Stokes问题上仅实现17.54%的脉冲率，表明显著的计算效率。
• 该方法在所有测试方程中均保持低脉冲率，最低为扩散-反应方程的28.79%。
• SNN转换保持了高精度，所有测试问题的L²误差均低于8.3×10⁻³，包括最复杂的Navier-Stokes案例。
• 该方法通过确保稀疏、低活动的脉冲模式，实现了在神经形态硬件上的能效推理。
• 理论收敛保证确保了在多种激活函数和PDE上的可靠性能。

(a) T=8