[논문 리뷰] Long Short-term Memory with Two-Compartment Spiking Neuron

Shimin Zhang, Yang Qu외 4명|arXiv (Cornell University)|2023. 07. 14.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 세밀한 신경세포 모델인 LSTM-LIF를 제안한다. 이 모델은 세포체에서 일시적 기억을 처리하고, 수상말에서 장기 기억을 저장함으로써 장기적 시간 의존성 작업에서 뛰어난 성능을 발휘한다. 이 모델은 비스파iking LSTM보다 빠른 학습 수렴 속도, 더 강한 일반화 능력, 그리고 100배 이상의 에너지 효율성 향상을 달성하면서도 높은 분류 정확도를 유지한다.

ABSTRACT

The identification of sensory cues associated with potential opportunities and dangers is frequently complicated by unrelated events that separate useful cues by long delays. As a result, it remains a challenging task for state-of-the-art spiking neural networks (SNNs) to identify long-term temporal dependencies since bridging the temporal gap necessitates an extended memory capacity. To address this challenge, we propose a novel biologically inspired Long Short-Term Memory Leaky Integrate-and-Fire spiking neuron model, dubbed LSTM-LIF. Our model incorporates carefully designed somatic and dendritic compartments that are tailored to retain short- and long-term memories. The theoretical analysis further confirms its effectiveness in addressing the notorious vanishing gradient problem. Our experimental results, on a diverse range of temporal classification tasks, demonstrate superior temporal classification capability, rapid training convergence, strong network generalizability, and high energy efficiency of the proposed LSTM-LIF model. This work, therefore, opens up a myriad of opportunities for resolving challenging temporal processing tasks on emerging neuromorphic computing machines.

연구 동기 및 목표

• 단일 구획 모델에서의 짧은 기억 용량으로 인해 제한되는 스파iking 신경망(SNNs)에서 장기적 시간 의존성을 학습하는 데 도전하는 것.
• 스파iking 신경망(SNNs)의 백프로파게이션을 통한 시간 역전파(BPTT) 학습에서의 허무한 기울기 문제를 해결하기 위해, 구획으로 나누어진 기억 기능을 가진 생물학적으로 타당한 뉴런을 설계하는 것.
• neuromorphic 하드웨어에 구현하기 위해 높은 기억 용량과 계산 효율성을 동시에 확보하는 스파이킹 뉴런 모델을 개발하는 것.
• 제안된 모델이 표준 LIF 및 비스파이킹 LSTM 네트워크보다 분류 정확도, 학습 속도, 에너지 효율성 측면에서 시간적 작업에서 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• LSTM-LIF 모델은 세포체 구획(일시적 기억 저장)과 수상말 구획(장기 기억 저장)으로 이루어진 이중 구획 구조를 도입하며, 생물학적 피라미드 뉴런을 영감으로 삼는다.
• 세포체 구획은 빠르고 일시적인 신호 처리를 위한 수정된 누설 적분-화염(LIF) 동역학을 사용한다.
• 수상말 구획은 더 느린 시간 상수를 가진 별도의 막 전위 갱신을 구현하여 장기간 지연된 이전 입력의 지속적 저장을 가능하게 한다.
• 수상말 구획이 과거 입력의 장기적 흔적을 적응형 AC 연산을 통해 유지할 수 있도록 하는 새로운 시냅스 가소성 규칙을 적용한다.
• 이론적 분석을 통해 이중 구획 설계가 느린 수상말 동역학을 통해 기울기 흐름을 유지함으로써 BPTT 동안 허무한 기울기 문제를 효과적으로 완화함을 확인한다.
• 모델는 서로서티 기울기 방법을 사용한 백프로파게이션을 통한 시간 역전파(BPTT)로 학습되며, S-MNIST 및 TIMIT와 같은 여러 시간 분류 벤치마크에서 성능이 평가된다.

실험 결과

연구 질문

• RQ1 이중 구획 스파이킹 뉴런 모델이 표준 단일 구획 SNN이 학습하지 못하는 장기적 시간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 세포체와 수상말 구획에 나누어진 일시적 기억과 장기 기억이 SNN의 학습 안정성과 수렴 속도를 어떻게 향상시키는가?
• RQ3 표준 LIF 및 비스파이킹 LSTM 네트워크와 비교해 LSTM-LIF 모델이 허무한 기울기 문제를 어느 정도 감소시키는가?
• RQ4 이중 구획 설계로 인한 모델 복잡성 증가는 더 높은 에너지 비용을 초래하는가, 아니면 간단한 SNN과 유사한 에너지 효율성을 유지할 수 있는가?
• RQ5 LSTM-LIF 모델의 손실 곡면은 LIF와 비교해 어떻게 다른가? 이는 최적화 역학과 일반화에 어떤 영향을 미치는가?

주요 결과

• LSTM-LIF 모델은 S-MNIST 및 TIMIT와 같은 여러 시간 분류 작업에서 표준 LIF 및 비스파이킹 LSTM 모델보다 높은 정확도로 최첨단 성능을 달성한다.
• 학습 수렴 속도가 빠르며, 국소 최적점 근처에서 더 부드러운 손실 곡면을 보이며, 최적화 역학 향상과 낮은 낮은 국소 최적점에 갇힐 위험 감소를 시사한다.
• 이론적 분석을 통해 이중 구획 설계가 느린 수상말 동역학을 통해 기울기 흐름을 유지함으로써 BPTT 동안 허무한 기울기 문제를 효과적으로 완화함을 확인한다.
• 복잡도가 증가했음에도 불구하고, LSTM-LIF 모델은 S-MNIST 데이터셋에서 실제로 28.2 nJ의 에너지 비용을 유발하며, LIF 모델의 23.8 nJ와 유사한 수준이지만, 비스파이킹 LSTM(2,834.7 nJ)에 비해 100배 이상의 에너지 절감을 달성한다.
• LSTM-LIF와 LIF의 계층별 발화 빈도는 유사하다(예: [0.294, 0.146, 0.030] 대비 [0.219, 0.145, 0.004]), 이는 향상된 성능가 높은 발화 활동 증가로 인한 것이 아님을 확인한다.
• 다양한 시간 작업에서의 안정적인 학습 동역학을 바탕으로, 모델는 강력한 일반화 능력을 보여준다.