[논문 리뷰] Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning

Qian Zhang, Chenxi Wu외 5명|arXiv (Cornell University)|2023. 08. 31.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 에너지 효율적인 과학 기반 머신러닝을 위한 물리기반 신경망(PINNs)과 분리 가능한 PINNs(SPINNs)를 스파iking 신경망(SNNs)으로 변환하는 새로운 방법을 제안한다. tanh와 사인 함수를 포함한 임의의 활성화 함수에 대한 SNN 校정 기법을 확장하고 수렴성을 증명함으로써, 나비에-스토크스 방정식과 같은 미분방정식에서 정확하고 낮은 스파이크 레이트로 SNN 추론이 가능해졌으며, 복잡한 유체역학 문제에서 최대 17.5%의 스파이크 레이트와 5% 이내의 상대적 L² 오차를 달성하였다.

ABSTRACT

We introduce a method to convert Physics-Informed Neural Networks (PINNs), commonly used in scientific machine learning, to Spiking Neural Networks (SNNs), which are expected to have higher energy efficiency compared to traditional Artificial Neural Networks (ANNs). We first extend the calibration technique of SNNs to arbitrary activation functions beyond ReLU, making it more versatile, and we prove a theorem that ensures the effectiveness of the calibration. We successfully convert PINNs to SNNs, enabling computational efficiency for diverse regression tasks in solving multiple differential equations, including the unsteady Navier-Stokes equations. We demonstrate great gains in terms of overall efficiency, including Separable PINNs (SPINNs), which accelerate the training process. Overall, this is the first work of this kind and the proposed method achieves relatively good accuracy with low spike rates.

연구 동기 및 목표

• 훈련된 PINNs를 스파킹 신경망(SNNs)으로 변환하여 과학 기반 머신러닝에서 에너지 효율적인 추론을 가능하게 하기.
• SNN 校정 기법을 ReLU를 초월해 PINNs에서 사용하는 tanh 및 사인과 같은 임의의 비선형 활성화 함수로 확장하기.
• 일반화된 校정 방법에 대한 수렴 정리를 증명하여 변환 과정에서 정확도를 유지함을 보장하기.
• 편미분방정식을 포함한 회귀 과제, 특히 비정상 상태 나비에-스토크스 유동에 대한 본 방법의 효과성 입증하기.
• SNN에서 낮은 스파이크 레이트를 달성하여 뉴로모픽 하드웨어에 효율적으로 구현 가능하게 하기.

제안 방법

• SNN 校정을 일반화하기 위해 오차 한계에 훈련 손실을 추가 항으로 포함함으로써, 이전에 ReLU의 이阶 도함수가 0이어야 한다는 제약 조건을 완화함.
• 일반화된 校정에 대해 수렴 정리를 증명하여 SNN 출력이 원래 ANN과 유한 오차 범위 내에서 근사됨을 보장함.
• 변환 과정에서 표준 PINNs와 SPINNs 모두에 대해 캘리브레이션된 SNN 변환을 적용하며, 네트워크 아키텍처와 활성화 함수를 그대로 유지함.
• PINNs에서 흔히 사용되는 부드러운 비-ReLU 활성화 함수, 예를 들어 tanh와 사인 함수를 지원함으로써 더 넓은 적용 가능성을 확보함.
• 다양한 PDE에 대해 스파이크 레이트와 L² 오차 지표를 활용해 SNN 추론을 평가함. 평가 대상은 푸아송, 확산-반응, 파동, 버거스, 나비에-스토크스 방정식 포함.
• SPINNs에 본 방법을 적용함으로써 변수를 독립적으로 처리함으로써 학습 속도를 가속화하고, 추가로 효율성 향상 가능함.

Figure 1: Illustration of $\operatorname{ClipFloor}$ function and its relationship to $\operatorname{ReLU}$ (left) and $\tanh$ (right).

실험 결과

연구 질문

• RQ1 SNN 校정은 ReLU를 초월해 PINNs에서 사용하는 부드러운 활성화 함수인 tanh 및 사인 함수를 지원할 수 있는가?
• RQ2 제안된 校정 방법은 PDE를 풀기 위해 PINNs를 SNN으로 변환할 때 네트워크 정확도를 유지하는가?
• RQ3 과학 기반 머신러닝 과제에서 에너지 효율성을 나타내는 낮은 스파이크 레이트를 달성할 수 있는가?
• RQ4 변환된 SNN의 성능은 원래 PINN 또는 SPINN과 비교해 오차 및 추론 속도 측면에서 어떻게 되는가?
• RQ5 이 방법은 비정상 상태 나비에-스토크스 방정식과 같은 복잡한 PDE에 효과적으로 적용될 수 있는가?

주요 결과

• 일반화된 SNN 校정 방법은 비정상 상태 나비에-스토크스 벨트라미 유동 문제에서 상대적 L² 오차 4.33%를 달성하여 높은 정확도를 입증함.
• SPINN에서 변환된 SNN은 나비에-스토크스 문제에서 스파이크 레이트가 오직 17.54%에 불과하여 높은 계산 효율성을 나타냄.
• 모든 테스트 방정식에서 낮은 스파이크 레이트를 유지하였으며, 확산-반응 방정식의 경우 가장 낮은 28.79%를 기록함.
• SNN 변환 과정에서 정확도가 유지되었으며, 가장 복잡한 나비에-스토크스 케이스를 포함해 모든 테스트 문제에서 L² 오차가 8.3×10⁻³ 이하임.
• 희소하고 낮은 활동 스파이크 패턴을 보장함으로써 뉴로모픽 하드웨어에서 에너지 효율적인 추론을 가능하게 함.
• 이론적 수렴 보장 조건을 통해 다양한 활성화 함수와 PDE에 걸쳐 신뢰할 수 있는 성능을 보장함.

(a) T=8