[논문 리뷰] Making a Spiking Net Work: Robust brain-like unsupervised machine learning

Peter Stratton, Andrew Wabnitz외 3명|arXiv (Cornell University)|2022. 08. 02.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 새로운 국소 학습 규칙을 통해 역동적 '소멸하는 스파이크 문제'를 해결함으로써 비지도 학습에서 최신 기술 수준의 성능을 달성하는 스파iking 신경망(SNN)을 제안한다. 단지 1/50분의 학습 에포크 수와 레이블이 없는 데이터를 사용하여 인공신경망(ANN)의 정확도를 재현하며, 간단한 선형 읽기 출력을 통해 빠르고 효율적이며 설명 가능한 기계학습을 가능하게 한다.

ABSTRACT

The surge in interest in Artificial Intelligence (AI) over the past decade has been driven almost exclusively by advances in Artificial Neural Networks (ANNs). While ANNs set state-of-the-art performance for many previously intractable problems, the use of global gradient descent necessitates large datasets and computational resources for training, potentially limiting their scalability for real-world domains. Spiking Neural Networks (SNNs) are an alternative to ANNs that use more brain-like artificial neurons and can use local unsupervised learning to rapidly discover sparse recognizable features in the input data. SNNs, however, struggle with dynamical stability and have failed to match the accuracy of ANNs. Here we show how an SNN can overcome many of the shortcomings that have been identified in the literature, including offering a principled solution to the dynamical "vanishing spike problem", to outperform all existing shallow SNNs and equal the performance of an ANN. It accomplishes this while using unsupervised learning with unlabeled data and only 1/50th of the training epochs (labeled data is used only for a simple linear readout layer). This result makes SNNs a viable new method for fast, accurate, efficient, explainable, and re-deployable machine learning with unlabeled data.

연구 동기 및 목표

• 기존 얕은 스파이킹 신경망(SNN)이 비지도 학습에서 불안정성과 낮은 성능을 보이는 문제를 해결한다.
• SNN 학습과 특징 학습을 방해하는 핵심 역동적 불안정성인 '소멸하는 스파이크 문제'를 극복한다.
• SNN이 훨씬 적은 학습 에포크와 레이블이 없는 데이터를 사용하면서도 인공신경망(ANN)의 정확도에 도달할 수 있도록 한다.
• 빠른 희박한 특징 탐지가 가능한 국소적으로 학습 가능한 생물학적으로 타당한 학습 규칙을 개발한다.
• SNN이 실제 기계학습 응용 분야에서 타당하고 효율적이며 설명 가능한 ANN의 대안이 될 수 있음을 입증한다.

제안 방법

• 국소 전후_SYNaptic 활동만을 사용하여 SNN의 비지도 학습이 가능한 새로운 국소 학습 규칙을 도입한다.
• 스파이크 활동을 장기간 유지함으로써 '소멸하는 스파이크 문제'를 방지하기 위해 동적 임계값 메커니즘을 구현한다.
• 시간적 코딩과 안정성을 향상시키기 위해 적응형 누설과 회복 기간을 갖춘 스파이킹 뉴런 모델을 사용한다.
• 제안된 국소 학습 규칙을 사용하여 레이블이 없는 데이터를 학습시켜 희박하고 인식 가능한 특징을 추출한다.
• 소량의 레이블이 있는 데이터로 훈련된 단순한 선형 읽기 출력 계층을 적용하여 높은 분류 정확도를 달성한다.
• 최소한의 학습 에포크로 성능을 극대화하기 위해 네트워크 아키텍처와 학습 하이퍼파ram터를 최적화한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망(SNN)이 '소멸하는 스파이크 문제'를 극복하여 안정적이고 효과적인 비지도 학습을 달성할 수 있는가?
• RQ2 SNN이 레이블이 없는 데이터만을 사용하여 완전히 연결된 인공신경망(ANN)의 분류 작업 성능을 어느 정도 재현할 수 있는가?
• RQ3 샘플 효율성과 학습 속도 측면에서 제안된 국소 학습 규칙은 전역 백프로파게이션과 비교해 어떻게 다른가?
• RQ4 기존 SNN과 ANN보다 훨씬 적은 학습 에포크로 SNN이 높은 정확도를 달성할 수 있는가?
• RQ5 제안된 SNN 아키텍처는 실제 기계학습 응용 시나리오에서 강건하고 설명 가능하며 재배포 가능한가?

주요 결과

• 제안된 SNN은 벤치마크 데이터셋에서 완전히 연결된 인공신경망(ANN)과 동등한 분류 정확도를 달성한다.
• 표준 SNN가 일반적으로 필요로 하는 학습 에포크 수의 1/50만으로도 충분하여 학습 효율성이 크게 향상된다.
• 스파이크 활동을 유지하기 위해 동적 임계값 메커니즘을 통해 '소멸하는 스파이크 문제'를 성공적으로 완화한다.
• 레이블이 없는 데이터를 사용한 비지도 사전학습을 통해 SNN이 희박하고 의미 있는 특징을 학습하며 일반화 능력이 뛰어나다.
• 최소한의 레이블 데이터로 훈련된 최종 선형 읽기 출력 계층이 높은 정확도를 달성하여 모델의 확장성과 효율성을 입증한다.
• SNN은 강건성, 낮은 계산 비용을 지니며 실시간, 설명 가능한 AI 구현 가능성을 보여준다.