[논문 리뷰] Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks

Jinseok Kim, Kyungsu Kim외 1명|arXiv (Cornell University)|2020. 06. 04.

Advanced Memory and Neural Computing인용 수 22

한 줄 요약

이 논문은 자극 신경망(SNNs)을 위한 통합 학습 규칙인 ANTLR를 제안한다. 이는 자극 활성화 기반과 시각 기반 역전파를 결합하여 기울기 추정을 향상시킨다. 자극 생성/제거와 자극 시점 조정을 동시에 최적화함으로써, 특히 에너지 효율적 추론에 필수적인 낮은 자극 수 조건에서도 이전 방법보다 높은 정확도와 효율성을 달성한다.

ABSTRACT

For the gradient computation across the time domain in Spiking Neural Networks (SNNs) training, two different approaches have been independently studied. The first is to compute the gradients with respect to the change in spike activation (activation-based methods), and the second is to compute the gradients with respect to the change in spike timing (timing-based methods). In this work, we present a comparative study of the two methods and propose a new supervised learning method that combines them. The proposed method utilizes each individual spike more effectively by shifting spike timings as in the timing-based methods as well as generating and removing spikes as in the activation-based methods. Experimental results showed that the proposed method achieves higher performance in terms of both accuracy and efficiency than the previous approaches.

연구 동기 및 목표

• 자극 활성화와 시각을 별도로 다루는 기존 기울기 기반 학습 방법의 한계를 해결하기 위해.
• 활성화 기반 및 시각 기반 학습 규칙을 하나의 더 정밀한 기울기 계산 프레임워크로 통합하기 위해.
• 낮은 자극 수 조건에서 SNN 성능을 향상시켜 에너지 효율적 추론에 필수적인 조건을 충족시키기 위해.
• 개별 자극의 존재와 시점을 동시에 조정하여 각 자극의 효과를 더 효과적으로 활용하기 위해.
• 두 학습 철학을 통합할 경우 MNIST 및 N-MNIST와 같은 벤치마크 작업에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 자극 활성화 변화와 자극 시점 이동에서 유도된 기울기를 모두 통합하는 통합 학습 규칙인 ANTLR를 제안한다.
• 스피iking 함수의 비미분 가능성 문제를 다루기 위해 서로가치 기울기 접근법을 사용하여 시간에 따라 역전파를 가능하게 한다.
• 자극 존재/부재(활성화 기반)와 기존 자극의 정밀한 시점(시각 기반)에서 기울기 기여도를 도출한다.
• 결합된 기울기를 사용해 시냅스 가중치를 갱신함으로써 자극 생성과 시간 정밀도를 동시에 최적화한다.
• LIF(누설 적분-화이어) 뉴런 모델을 사용하며, RNN 유사 순환성과 자극 반응 커널 설정을 통해 시간 동적 특성을 표현한다.
• 자극 반응 커널 ε[τ]를 사용해 막 전위를 과거 자극의 가중합으로 표현함으로써 분석적 기울기 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 낮은 자극 수 조건에서 활성화 기반 및 시각 기반 학습 규칙의 기울기 정밀도와 성능를 비교할 경우 어떻게 되는가?
• RQ2 활성화 기반 및 시각 기반 기울기를 통합하면 더 정확하고 효율적인 SNN 학습이 가능한가?
• RQ3 자극 밀도가 별개의 규칙과 통합된 규칙의 성능에 미치는 영향은 무엇인가?
• RQ4 에너지 효율성을 위해 자극 수가 제한된 조건에서 통합된 ANTLR 규칙이 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 제안된 방법은 자극 상태 변화(예: 자극 생성, 제거, 시점 이동)를 어떻게 처리하는가?

주요 결과

• ANTLR는 MNIST 및 N-MNIST 데이터셋에서 자극 수가 제한된 조건에서도 활성화 기반 및 시각 기반 방법보다 높은 정확도를 달성했다.
• 단일 자극 제약 조건이 적용된 N-MNIST 작업에서 ANTLR는 높은 정확도를 유지했지만, 다수의 자극에 의존하는 활성화 기반 방법은 심각한 성능 저하를 보였다.
• 시각 기반 방법은 단일 자극 조건에서 성능 향상을 보였지만, ANTLR는 두 메커니즘을 효과적으로 통합하여 이를 뛰어넘었다.
• 비슷하거나 더 높은 성능를 달성하기 위해 ANTLR는 활성화 기반 방법보다 더 적은 총 자극 수를 필요로 하여 샘플 효율성이 향상됨을 입증했다.
• 실험 결과, 이전의 높은 정확도 SNN 성능는 높은 자극 수에 의해 가능했을 가능성이 확인되었으며, ANTLR는 낮은 자극 수 환경에서도 강력한 성능를 발휘한다.
• 분석 결과 활성화 기반 및 시각 기반 방법은 상호 보완적임을 확인했다: 첫 번째 방법은 다수 자극 상황에서 뛰어나고, 두 번째 방법은 단일 자극 환경에서 유리하다.