[논문 리뷰] Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks

Jibin Wu, Chenglin Xu외 3명|arXiv (Cornell University)|2020. 07. 02.

Advanced Memory and Neural Computing참고 문헌 56인용 수 14

한 줄 요약

이 논문은 진동수를 기반으로 유사한 뉴런 활성도를 근사하고, 변환 오차를 적응형 계층별 학습을 통해 보완하는 새로운 ANN-to-SNN 변환 및 계층별 미세조정 프레임워크인 프로그레시브 택티컬 러닝(PTL)을 제안한다. 이 방법은 깊이 있는 SNN이 ImageNet-12, 이미지 복원, 음성 분리 작업에서 최신 SNN 기술 대비 최대 10배 빠른 추론 속도와 감소된 시냅스 연산을 확보하면서도 경쟁 가능한 성능을 달성할 수 있도록 한다.

ABSTRACT

Spiking neural networks (SNNs) have shown clear advantages over traditional artificial neural networks (ANNs) for low latency and high computational efficiency, due to their event-driven nature and sparse communication. However, the training of deep SNNs is not straightforward. In this paper, we propose a novel ANN-to-SNN conversion and layer-wise learning framework for rapid and efficient pattern recognition, which is referred to as progressive tandem learning of deep SNNs. By studying the equivalence between ANNs and SNNs in the discrete representation space, a primitive network conversion method is introduced that takes full advantage of spike count to approximate the activation value of analog neurons. To compensate for the approximation errors arising from the primitive network conversion, we further introduce a layer-wise learning method with an adaptive training scheduler to fine-tune the network weights. The progressive tandem learning framework also allows hardware constraints, such as limited weight precision and fan-in connections, to be progressively imposed during training. The SNNs thus trained have demonstrated remarkable classification and regression capabilities on large-scale object recognition, image reconstruction, and speech separation tasks, while requiring at least an order of magnitude reduced inference time and synaptic operations than other state-of-the-art SNN implementations. It, therefore, opens up a myriad of opportunities for pervasive mobile and embedded devices with a limited power budget.

연구 동기 및 목표

• 실세계 패턴 인식 작업을 위한 깊이 있는 스파iking 신경망(SNN)을 효율적으로 훈련하는 데 도전하는 것.
• 스파이킹 뉴런의 비미분 가능성과 SNN에서의 백프로파게이션의 비효율성을 극복하는 것.
• 학습 과정에서 제한된 가중치 정밀도와 피드인 수와 같은 하드웨어 제약 조건을 점진적으로 적용함으로써 하드웨어 인식 훈련을 가능하게 하는 것.
• 추론 지연 시간과 시냅스 연산을 크게 줄이며 패턴 인식 작업에서 높은 정확도를 달성하는 것.
• 이미지 인식 및 음성 분리와 같은 대규모 작업에서 ANN과 SNN 간의 성능 격차를 해소하는 것.

제안 방법

• 아날로그 뉴런 활성도를 스파이크 수로 매핑하는 원시적인 ANN-to-SNN 변환 방법을 제안하여 이벤트 기반 추론을 효율적으로 가능하게 한다.
• 초기 변환에서 발생하는 근사 오차를 보정하기 위해 적응형 학습 스케줄러를 갖춘 계층별 학습 전략을 도입한다.
• 스파이크 함수의 비미분성에도 불구하고 시간에 따라 역전파를 가능하게 하기 위해 서로가 대체하는 기울기를 사용한다.
• 알고리즘과 뉴로모픽 하드웨어의 공동 설계를 가능하게 하기 위해 훈련 과정에서 제한된 가중치 정밀도와 피드인 연결과 같은 하드웨어 제약 조건을 점진적으로 적용한다.
• SNN과 ANN이 가중치를 공유하는 탄생 학습 프레임워크를 사용하며, SNN은 정확한 스파이크 기반 표현을 제공하고 ANN은 서모그라디언트를 근사한다.
• 지정된 시간 창 내에서 스파이크 수를 통해 연속적인 활성도를 표현하는 레이트 코딩 원리를 활용하여 추론 속도와 에너지 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 스파이크 수를 사용하여 아날로그 뉴런 활성도를 효과적으로 표현할 수 있는가? 이는 ANN-to-SNN 변환 과정에서 분류 정확도를 유지하는 데 기여하는가?
• RQ2 완전한 백프로파게이션에 의존하지 않고도 원시 SNN 변환에서 발생하는 근사 오차를 효과적으로 최소화할 수 있는가?
• RQ3 적응형 스케줄러를 갖춘 계층별 학습이 깊이 있는 SNN에서 높은 성능을 달성하면서도 계산 비용을 낮게 유지할 수 있는가?
• RQ4 제한된 가중치 정밀도와 피드인 수와 같은 하드웨어 제약 조건을 훈련 과정에 얼마나 효과적으로 통합할 수 있는가? 이는 효율적인 뉴로모픽 구현을 가능하게 하는가?
• RQ5 이 프레임워크로 훈련된 SNN이 대규모 이미지 인식 및 음성 분리와 같은 도전적인 작업에서 ANN의 성능을 따라할 수 있는가?

주요 결과

• 제안된 PTL 프레임워크는 깊이 있는 SNN이 오픈 세트 음성 분리 작업에서 12.8 dB SI-SDR와 2.85 PESQ를 달성하며, 기준 ANN의 12.8 dB SI-SDR와 2.94 PESQ에 매우 가까운 성능을 보였다.
• ImageNet-12 객체 인식 작업에서 PTL로 훈련된 SNN은 ANN 기반 모델과 비교해 경쟁 가능한 분류 성능를 확보했다.
• 최신 SNN 기술 대비 상태의 SNN 구현보다 시냅스 연산 수가 최소 한 계단 이상 감소했고, 추론 시간도 크게 단축되었다.
• 훈련 과정에서 제한된 가중치 정밀도와 같은 하드웨어 제약 조건을 점진적으로 통합함으로써 효과적인 알고리즘-하드웨어 공동 설계를 가능하게 했으며, 실제 뉴로모픽 하드웨어에서 최적의 성능을 보장했다.
• 이 프레임워크는 이미지 복원 작업에서 높은 정밀도의 복원 결과를 도출했으며, 심지어 동일한 성별 음성 분리 조건에서도 지상 진실값에 매우 가까운 복원 결과를 보였다.
• 청취 테스트 결과, SNN에서 생성된 음성 분리 출력은 원본 ANN의 출력과 청각적으로 구별되지 않으며, 높은 정밀도로 음성 신호를 재현했다.