[논문 리뷰] Biologically Inspired Dynamic Thresholds for Spiking Neural Networks

Jianchuan Ding, Bo Dong외 5명|arXiv (Cornell University)|2022. 06. 09.

Advanced Memory and Neural Computing인용 수 22

한 줄 요약

SNN용 생물영감 동적 에너지-시간 임계치(BDETT)를 도입하여 동적 에너지와 시간 임계치를 연계해 발화를 제어하고, 정상 및 악화된 조건에서 로봇 장애물 회피, 연속 제어 및 이미지 분류의 일반화 및 항상성(homeostasis)을 개선한다.

ABSTRACT

The dynamic membrane potential threshold, as one of the essential properties of a biological neuron, is a spontaneous regulation mechanism that maintains neuronal homeostasis, i.e., the constant overall spiking firing rate of a neuron. As such, the neuron firing rate is regulated by a dynamic spiking threshold, which has been extensively studied in biology. Existing work in the machine learning community does not employ bioinspired spiking threshold schemes. This work aims at bridging this gap by introducing a novel bioinspired dynamic energy-temporal threshold (BDETT) scheme for spiking neural networks (SNNs). The proposed BDETT scheme mirrors two bioplausible observations: a dynamic threshold has 1) a positive correlation with the average membrane potential and 2) a negative correlation with the preceding rate of depolarization. We validate the effectiveness of the proposed BDETT on robot obstacle avoidance and continuous control tasks under both normal conditions and various degraded conditions, including noisy observations, weights, and dynamic environments. We find that the BDETT outperforms existing static and heuristic threshold approaches by significant margins in all tested conditions, and we confirm that the proposed bioinspired dynamic threshold scheme offers homeostasis to SNNs in complex real-world tasks.

연구 동기 및 목표

• SNN에서 신경세포의 항상성을 달성하기 위해 스파이킹 임계치를 동적이고 생물영감적으로 규제할 필요성을 제시한다.
• 발화를 조절하기 위한 동적 에너지 임계치(DET)와 동적 시간 임계치(DTT)를 포함하는 BDETT 체계를 제안한다.
• 레이어별 통계 신호가 DET와 DTT 매개변수를 강건한 일반화를 위해 어떻게 설정하는지 보인다.
• 정상 및 악화된 조건에서 장애물 회피, 연속 제어 및 이미지 분류에 대해 BDETT를 검증한다.

제안 방법

• 뉴런별 동적 임계 Theta_i^l(t+1) = 1/2 (E_i^l(t) + T_i^l(t+1))를 정의한다.
• 동적 에너지 임계치(DET) E_i^l(t)는 v_i^l(t), 층 평균 V_m^l(t) 및 V_theta^l(t)와 층별 통계치를 결합한 생물영감 형식을 사용한다(방정식 2-4).
• 동적 시간 임계치(DTT) T_i^l(t+1)는 탈분극의 이전 속도와 연동된 단일 지수형 함수로, 층 임계값에 의존하는 적응 오프셋 a를 포함한다(방정식 5-6).
• E_i^l(t) 및 V_m^l(t), V_theta^l(t)는 계층별 평균과 범위를 적용하여 DET를 계층 통계에 적응시킨다.
• BDETT를 SRM 및 LIF SNN에 통합하고, 악화된 입력과 가중치 불확실성 하에서 장애물 회피, 연속 제어(HalfCheetah-v3, Ant-v3) 및 이미지 분류를 평가한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감된 동적 임계치 스킴이 실제 로봇 작업에서 SNN의 일반화를 향상시킬 수 있는가?
• RQ2 동적 에너지 및 시간 임계치(DET 및 DTT)가 악화된 입력, 잡음 많은 가중치, 동적 환경에서 로버스트함을 향상시키기 위한 항상성을 제공하는가?
• RQ3 장애물 회피, 로봇 제어 및 인지/지각 작업에서 BDETT가 정적 임계치 및 휴리스틱 동적 임계치와 어떻게 비교되는가?

주요 결과

• BDETT는 모든 평가 과제와 악화된 조건에서 정적 임계치 및 휴리스틱 동적 임계치를 능가한다.
• BDETT는 SNN을 호스팅하는 데 측정 가능한 항상성을 제공하며, 조건이 바뀌어도 발화율 통계의 변화가 더 작다.
• 장애물 회피에서, 동적 장애물, 악화된 입력 및 가중치 불확실성 하에서 더 높은 성공률을 보인다.
• 연속 제어 과제에서 악화된 관찰 및 가중치 섭동 하에서 더 높은 보상을 달성하고 기준선보다 더 나은 성능을 유지한다.
• 저정밀 가중치에서도 여전히 효과적이며, 특정 작업에서 고정밀 기준선보다 우수한 성능을 보이는 경우가 있다.