[논문 리뷰] Direct training based spiking convolutional neural networks for object recognition.

Shibo Zhou, Ying Chen외 2명|arXiv (Cornell University)|2019. 09. 24.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 시간 코드를 사용하여 직접 학습 기반 스파iking 컨볼루션 신경망(SCNN)을 제안하여 최소한의 학습 가능한 파rameter로 높은 객체 인식 정확도를 달성한다. MNIST에서 99.13%의 정확도와 CIFAR-10에서 80.49%의 정확도를 기록하며, 시간 코드를 사용하는 직접 학습 가능한 SNN 중 최고 수준의 성능을 달성했고, 변환 기반 방법에 비해 파rameter 수를 크게 줄였다.

ABSTRACT

Direct training based spiking neural networks (SNNs) have been paid a lot of attention recently because of its high energy efficiency on emerging neuromorphic hardware. However, due to the non-differentiability of the spiking activity, most of the related SNNs still cannot achieve high object recognition accuracy for the complicated dataset, such as CIFAR-10. Even though some of them can reach the accuracy of 90%, the energy consumption in those networks is very high. Considering this, we propose a direct supervised learning based spiking convolutional neural networks (SCNNs) using temporal coding scheme in this study, aiming to exploit minimum trainable parameters to recognize the object in the image with high accuracy. The MNIST and CIFAR-10 datasets are used to evaluate the performance of the proposed networks. For the MNIST dataset, the proposed networks with noise input are able to reach the high recognition accuracy (99.13%) as the other state-of-art models but use the much less trainable parameters than them. For CIFAR-10 dataset, the proposed networks with data augmentation step can reach the recognition accuracy of 80.49%., which is the state-of-art high accuracy in the field of direct training based SNNs using temporal coding manner. In addition, the number of trainable parameters used in such networks is much less than that in the conversion based SCNNs reported in the literature.

연구 동기 및 목표

• CIFAR-10과 같은 복잡한 데이터셋에서 직접 학습 기반 스파킹 신경망(SNN)의 낮은 정확도 문제를 해결한다.
• SNN의 학습 가능한 파arameter 수를 줄여 에너지 효율성과 확장성을 향상시킨다.
• 직접 지도 학습 프레임워크에서 시간 코드를 사용해 높은 객체 인식 정확도를 달성한다.
• 특히 변환 기반 접근 방식과 비교할 때 파arameter 수를 최소화하면서도 기존의 직접 학습 SNN보다 정확도에서 뛰어나게 한다.
• 최소한의 학습 가능한 파arameter로 표준 벤치마크에서 고정확도 SNN의 가능성을 입증한다.

제안 방법

• 인공 신경망(ANN)에서의 변환 없이 스파킹 컨볼루션 신경망(SCNN)을 직접 지도 학습 방식으로 학습한다.
• 정보가 스파이크의 시기로 표현되는 시간 코드 방식을 사용해 입력 데이터를 표현한다.
• MNIST에서의 정확도 향상과 일반화 능력 향상을 위해 학습 중 노이즈 입력을 도입한다.
• 더 복잡한 CIFAR-10 데이터셋에서의 성능 향상을 위해 데이터 증강 기법을 적용한다.
• 비가역적인 스파이크 뉴런을 다루기 위해 백프로파게이션 스트림(Backpropagation Through Time, BPTT) 또는 유사한 미분 가능한 서로우 프락시 기반 최적화를 수행한다.
• 스파iking 동역학에 맞게 설계된 컴act한 네트워크 아키텍처를 통해 학습 가능한 파arameter 수를 최소화한다.

실험 결과

연구 질문

• RQ1 직접 학습 기반 SNN에 시간 코드를 적용하면 ANN에서의 변환 없이도 MNIST와 CIFAR-10에서 높은 정확도를 달성할 수 있는가?
• RQ2 학습 중 노이즈 입력을 포함시키는 것이 제안된 SNN의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 높은 인식 성능를 유지하면서 학습 가능한 파arameter 수를 얼마나 줄일 수 있는가?
• RQ4 제안된 직접 학습 SNN은 변환 기반 SNN과 비교할 때 정확도와 파arameter 효율성 측면에서 어떻게 다른가?
• RQ5 데이터 증강은 복잡한 데이터셋인 CIFAR-10에서 직접 학습 가능한 SNN의 성능 향상에 기여하는가?

주요 결과

• 제안된 SNN은 MNIST 데이터셋에서 99.13%의 인식 정확도를 달성했으며, 기존의 최고 수준 모델과 동일한 성능를 보였지만 학습 가능한 파arameter 수가 크게 줄었다.
• CIFAR-10 데이터셋에서 모델은 80.49%의 정확도를 기록했으며, 시간 코드를 사용하는 직접 학습 SNN 중 최고 수준의 성능를 나타낸다.
• 제안된 네트워크의 학습 가능한 파arameter 수는 문헌에 보고된 변환 기반 SCNN보다 상당히 낮다.
• 학습 중 노이즈 입력을 활용함으로써 모델의 강건성이 향상되었고, 이는 MNIST에서의 높은 정확도에 기여했다.
• CIFAR-10과 같은 더 복잡한 데이터셋에서 직접 학습 가능한 SNN의 성능 향상에는 데이터 증강이 필수적이다.
• 제안된 방법은 직접 학습과 시간 코드를 통해 최소한의 파arameter 수로도 고정확도 SNN을 달성할 수 있음을 입증했다.