[논문 리뷰] WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting

Philipp Weidel, Sadique Sheik|arXiv (Cornell University)|2021. 11. 02.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

WaveSense는 WaveNet에 영감을 받은 스파iking 신경망을 제안하며, 확장된 시간적 컨volution 대신 LIF 뉴런 내재의 시냅스 및 막 동역학을 사용하여 스파이크 스트림의 효율적이고 지연 없는 처리를 가능하게 한다. 이는 키워드 검색에 있어 근접한 최첨단 성능을 달성하며, 메모리 효율성이 뛰어나 뉴모르픽 하드웨어에 적합하다. SpeechCommands 및 Aloha 데이터셋에서 근접한 최첨단 정확도를 기록한다.

ABSTRACT

Ultra-low power local signal processing is a crucial aspect for edge applications on always-on devices. Neuromorphic processors emulating spiking neural networks show great computational power while fulfilling the limited power budget as needed in this domain. In this work we propose spiking neural dynamics as a natural alternative to dilated temporal convolutions. We extend this idea to WaveSense, a spiking neural network inspired by the WaveNet architecture. WaveSense uses simple neural dynamics, fixed time-constants and a simple feed-forward architecture and hence is particularly well suited for a neuromorphic implementation. We test the capabilities of this model on several datasets for keyword-spotting. The results show that the proposed network beats the state of the art of other spiking neural networks and reaches near state-of-the-art performance of artificial neural networks such as CNNs and LSTMs.

연구 동기 및 목표

• 지속적으로 작동하는 엣지 디바이스에서 키워드 검색을 위한 저전력이고 효율적인 시간 처리 아키텍처를 개발하기 위해.
• 기존의 확장된 시간적 컨볼루션을 더 높은 에너지 효율성으로 개선하기 위해 내재된 스파이킹 신경 동역학으로 대체하기 위해.
• 버퍼링이나 명시적 지연 없이 스파이크 스트림을 직접 처리하여 메모리 오버헤드를 줄이기 위해.
• 단순한 LIF 뉴런과 피드포워드 아키텍처를 사용하면서도 기존 최첨단 인공신경망(예: CNN, LSTM)과 비교해 높은 정확도를 달성하기 위해.
• 뉴모르픽 하드웨어에서 스트리밍 추론과 호환되는 훈련 전략을 설계하기 위해.

제안 방법

• 유지되는 시간적 통합 기능을 지닌 누출적 통합-화염(LIF) 뉴런을 활용하여 명시적 반복성이나 확장 없이 장거리 의존성을 모델링한다.
• WaveNet 유사 아키텍처에서 인과적 확장 컨볼루션을 사용하지만, 필터 대신 스파이킹 뉴런 동역학을 사용하여 시간적 맥락을 암묵적으로 모델링한다.
• 고정된 시간 상수와 적응 메커니즘이 없는 단순한 피드포워드 SNN을 사용하여 뉴모르픽 구현을 효율적으로 가능하게 한다.
• 스럽지 않은 기울기 기반 훈련 방법을 SRM 프레임워크와 SLAYER 알고리즘을 통해 적용하여 스파이킹 네트워크 가중치를 최적화한다.
• 키워드 존재 시 피크 반응에 집중하는 작업 전용 손실 함수를 설계하여 탐지 정확도를 향상시킨다.
• 시간적 메모리 용량을 층 간 시간 상수의 합에 비례하도록 계산하며, 작업 지속 시간과 일치시키기 위해 약 2.5의 비례 계수를 사용한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경 동역학이 키워드 검색을 위한 시퀀스 모델링에서 확장된 시간적 컨볼루션을 자연스럽게 대체할 수 있는가?
• RQ2 고정된 LIF 뉴런을 사용하는 단순한 피드포워드 SNN이 오디오 분류 작업에서 최첨단 인공신경망과 유사한 성능을 달성할 수 있는가?
• RQ3 명시적 지연이나 버퍼링 없이 스파이킹 네트워크에 시간적 메모리를 효율적으로 인코딩할 수 있는가?
• RQ4 스트리밍 추론 환경에서 작업 전용 손실 함수를 통해 SNN의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 아키텍처는 최소한의 메모리 및 계산 오버헤드로 뉴모르픽 하드웨어에 효율적으로 구현될 수 있는가?

주요 결과

• WaveSense는 Aloha 키워드 검색 데이터셋에서 98.0±1.1%의 정확도를 기록하여 이전 최첨단 SNN을 초월하고 최첨단 ANNs에 근접한다.
• SpeechCommands 데이터셋에서 WaveSense는 79.6±0.1%의 정확도를 달성하여 이전 SNN 기반 방법을 뛰어넘으며 표준 벤치마크에서 뛰어난 성능을 보였다.
• 과거 스파이크의 버퍼링이나 명시적 지연이 필요 없어, 층당 O(k+1)의 메모리 사용량을 기록하였으며, WaveNet의 O((k-1)·d+1)보다 훨씬 낮다.
• 시간적 메모리 용량은 층 간 시간 상수의 합에 비례하며, 최적의 작업 성능을 위해 약 2.5의 비례 계수를 사용한다.
• 아키텍처는 하드웨어 제약에 강건하다: 제한된 시간 상수 해상도 조건에서도 적절한 층 조합을 통해 성능 유지가 가능하다.
• LIF 뉴런 시뮬레이션에서 재훈련을 통해 성능 복구가 가능하여, 이 방법이 디지털 뉴모르픽 플랫폼과 호환됨을 확인했다.