[논문 리뷰] Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks

Alan Jeffares, Qinghai Guo외 2명|arXiv (Cornell University)|2021. 10. 06.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 전통적인 순환 신경망(RNN)에 스파ike 유사 순위 인코딩(RC)을 도입하여 첫 번째 출력 뉴런의 '스파이크' 발생 시 계산을 중단함으로써 조기 추론을 가능하게 한다—이는 임계치를 초월하는 사건에 의해 유도된다. 이 방법은 시간에 따라 인코딩된 MNIST에서 최대 99.19%의 정확도를 달성하며, 단 한 번의 타임스텝 후에 추론을 수행함으로써 표준 LSTM과 시간 인코딩을 사용하는 SNN에 비해 속도-정확도 트레이드오프를 크게 향상시킨다.

ABSTRACT

Biological spiking neural networks (SNNs) can temporally encode information in their outputs, e.g. in the rank order in which neurons fire, whereas artificial neural networks (ANNs) conventionally do not. As a result, models of SNNs for neuromorphic computing are regarded as potentially more rapid and efficient than ANNs when dealing with temporal input. On the other hand, ANNs are simpler to train, and usually achieve superior performance. Here we show that temporal coding such as rank coding (RC) inspired by SNNs can also be applied to conventional ANNs such as LSTMs, and leads to computational savings and speedups. In our RC for ANNs, we apply backpropagation through time using the standard real-valued activations, but only from a strategically early time step of each sequential input example, decided by a threshold-crossing event. Learning then incorporates naturally also *when* to produce an output, without other changes to the model or the algorithm. Both the forward and the backward training pass can be significantly shortened by skipping the remaining input sequence after that first event. RC-training also significantly reduces time-to-insight during inference, with a minimal decrease in accuracy. The desired speed-accuracy trade-off is tunable by varying the threshold or a regularization parameter that rewards output entropy. We demonstrate these in two toy problems of sequence classification, and in a temporally-encoded MNIST dataset where our RC model achieves 99.19% accuracy after the first input time-step, outperforming the state of the art in temporal coding with SNNs, as well as in spoken-word classification of Google Speech Commands, outperforming non-RC-trained early inference with LSTMs.

연구 동기 및 목표

• 스파이크 신경망(SNN)의 효율성과 전통적인 인공신경망(ANN)의 정확성을 융합하기 위해 표준 RNN에 스파이크 유사 시간 인코딩을 통합함으로써 목표를 달성한다.
• 출력에서 임계치를 초월하는 사건이 발생한 후 시퀀스를 동적으로 잘라내어 계산 비용과 추론 시간을 줄이되, 정확도를 희생시키지 않는다.
• 조정 가능한 임계치와 학습 가능한 엔트로피 정규화 파라미터를 통해 RNN 추론의 조절 가능한 속도-정확도 트레이드오프를 가능하게 한다.
• SNN에서 유래한 순위 인코딩 메커니즘이 표준 백프로파게이션스루타임(BPTT) 기반 ANN에 효과적으로 적용될 수 있음을 보여주며, 추론 효율성을 향상시킨다.
• RC 학습이 추론 중 시간에 따른 통찰 도달 시간을 단축시킴으로써 실시간 응용 분야(예: 키워드 인식)에서 특히 유리함을 보임을 보여준다.

제안 방법

• 표준 백프로파게이션스루타임을 사용하여 실수 값 활성화를 처리하지만, 첫 번째 출력 뉴런이 사전 정의된 임계치를 초월할 때까지 입력 시퀀스를 처리하며, 이로 인해 조기 추론이 유도된다.
• 임계치를 초월하는 사건이 계산을 중단하는 시점을 결정하며, 이는 효과적으로 시퀀스를 잘라내고 전방 및 역방향 전파 시간을 단축시킨다.
• 출력 엔트로피 기반 정규화 항을 도입하여 더 이른, 더 신뢰할 수 있는 예측을 유도함으로써 속도-정확도 트레이드오프를 향상시킨다.
• 모델은 아키텍처 변경 없이 표준 RNN(예: LSTM)을 사용해 엔드 투 엔드로 학습되며, 오직 추론 시점의 시간 조절만 임계치 메커니즘을 통해 이루어진다.
• 추론 시점에서 임계치를 조정하여 속도를 제어할 수 있으며, 정규화 파라미터 β는 학습 중 최적화되어 이른 시점에 정확한 출력을 유도한다.
• 이 방법은 순서 분류 작업, 특히 시간에 따라 인코딩된 MNIST 변형 및 Google Speech Commands를 포함해 평가되었으며, 비-RC 학습 모델 및 SNN 기준 모델과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 스파이크 유사 순위 인코딩은 표준 인공 순환 신경망에 효과적으로 적용되어 추론 속도를 향상시킬 수 있는가?
• RQ2 RC 학습은 정확도를 유지하거나 향상시키면서도 추론 중 시간에 따른 통찰 도달 시간을 단축시키는가?
• RQ3 임계치 조정과 정규화를 통해 속도-정확도 트레이드오프를 독립적으로 조절할 수 있으며, 기존 방법과 비교해 어떻게 다른가?
• RQ4 RC 학습된 RNN은 SOTA(SOTA) SNN과 비-RC ANNs에 비해 실생활 시간적 시퀀스 작업(예: 말소리 분류)에서 어떻게 성능을 내는가?
• RQ5 RC 학습은 표준 RNN 아키텍처나 학습 알고리즘을 변경하지 않고도 얼마나 추론 효율성을 향상시키는가?

주요 결과

• RC 모델은 단 한 번의 입력 타임스텝 후에 시간에 따라 인코딩된 MNIST 데이터셋에서 99.19%의 정확도를 달성하였으며, 순위 인코딩을 사용하는 최신 SNN보다 뛰어난 성능을 보였다.
• Google Speech Commands 분류 작업에서 RC 학습된 LSTM는 어떤 추론 속도에서도 비-RC 학습 모델보다 더 높은 정확도를 기록하여 뛰어난 속도-정확도 트레이드오프를 입증했다.
• RC 학습은 추론 중 시간에 따른 통찰 도달 시간을 크게 단축시켰으며, 정확도 손실가 최소화되었고, 특히 엔트로피 정규화와 조합했을 때 더욱 두드러졌다.
• RC 학습 모델에서는 속도-정확도 트레이드오프가 더 조절 가능했다: 임계치를 낮추면 정확도가 더 급격히 감소하지만, 정규화 파라미터 β를 다양하게 조정하면 정확도가 다소 감소하거나 오히려 약간 향상되면서도 이른 추론이 가능했다.
• 첫 번째 임계치 초월 사건 이후 남은 입력 단계를 건너뛰어 전방 및 역방향 전파 모두에서 계산 절감을 이룰 수 있었으며, 이는 네트워크 아키텍처나 학습 알고리즘을 수정하지 않아도 가능했다.
• 결과적으로 표준 RNN에 단일 뉴로모픽 메커니즘인 순위 인코딩을 통합함으로써 높은 성능를 유지하면서도 상당한 효율성 향상을 이룰 수 있음을 입증하였으며, 이는 뉴로모픽 컴퓨팅을 향한 실용적인 길을 제시한다.