[논문 리뷰] evt_MNIST: A spike based version of traditional MNIST

Mazdak Fatahi, Mahmood Ahmadi외 3명|arXiv (Cornell University)|2016. 04. 22.

Advanced Memory and Neural Computing참고 문헌 8인용 수 5

한 줄 요약

이 논문은 화소 강도를 포아송 분포를 가진 스파이크 트레인으로 변환하여 생물학적 신경 코드를 반영하는, 스파iking 신경망(SNN)과 호환되는 MNIST 데이터셋인 evt_MNIST를 소개한다. 포아송 과정에서 유도된 시간적 스파이크 패턴을 활용함으로써 evt_MNIST는 생물학적으로 타당한 조건 하에서 SNN의 평가를 가능하게 하며, 시간 코드 방식을 사용하는 SNN의 훈련 및 테스트를 위한 벤치마크를 제공한다.

ABSTRACT

Benchmarks and datasets have important role in evaluation of machine learning algorithms and neural network implementations. Traditional dataset for images such as MNIST is applied to evaluate efficiency of different training algorithms in neural networks. This demand is different in Spiking Neural Networks (SNN) as they require spiking inputs. It is widely believed, in the biological cortex the timing of spikes is irregular. Poisson distributions provide adequate descriptions of the irregularity in generating appropriate spikes. Here, we introduce a spike-based version of MNSIT (handwritten digits dataset),using Poisson distribution and show the Poissonian property of the generated streams. We introduce a new version of evt_MNIST which can be used for neural network evaluation.

연구 동기 및 목표

• 스파iking 신경망(SNN) 평가를 위한 표준화된 스파이크 기반 데이터셋의 부족을 해결하기 위해.
• 시간 코드를 통한 스파이크 타이밍을 지원하는 MNIST의 버전을 만들기 위해, 생물학적 신경 역학을 반영하기 위해.
• 포아송 분포에서 유도된 실제적이며 비정규적인 스파이크 패턴을 사용하여 SNN의 훈련 및 평가를 가능하게 하기 위해.
• 연속적 활성화가 아닌 스파이크 입력을 필요로 하는 SNN 프레임워크와 호환되는 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• 화소 강도가 높을수록 평균 발화 빈도가 높아지도록, 각 MNIST 이미지의 화소 강도를 포아송 분포를 가진 스파이크 트레인으로 변환한다.
• 고정된 시간 창 동안 시간에 따라 변하는 포아송 과정을 사용하여 스파이크 트레인을 생성함으로써 입력 역학을 유지한다.
• 皮질 신경 활동의 특징인 비정규성과 변동성을 갖춘 스파이크 트레인을 확보한다.
• 통계적 검증을 통해 스파이크 스트림의 포아송성质을 확인하여 시간적 비정규성을 확인한다.
• 기존의 SNN 훈련 및 추론 프레임워크와의 호환성을 확보한다.
• SNN 연구 파이프라인에 쉽게 통합할 수 있는 표준 형식을 제공한다.

실험 결과

연구 질문

• RQ1 원본 이미지의 의미적 내용을 유지하면서도 시간적 스파이크 패턴을 통해 인코딩하는 스파이크 기반 MNIST 버전을 생성할 수 있는가?
• RQ2 포아송 과정을 사용하여 생성된 스파이크 트레인은 생물학적 신경 자극의 통계적 특성과 일치하는가?
• RQ3 기존의 MNIST와 비교할 때 evt_MNIST는 SNN 훈련 알고리즘 평가에 얼마나 효과적인 벤치마크로 기능하는가?
• RQ4 포아송 분포를 가진 스파이크 입력을 사용할 경우 SNN의 성능과 수렴성에 어떤 영향을 미치는가?
• RQ5 evt_MNIST는 다양한 플랫폼과 아키텍처에서 신뢰할 수 있고 재현 가능한 SNN 연구의 벤치마크로 기능할 수 있는가?

주요 결과

• evt_MNIST 데이터셋은 포아송 과정을 사용하여 기존의 MNIST 이미지를 스파이크 트레인으로 성공적으로 변환하였으며, 입력의 의미를 유지한다.
• 통계 분석을 통해 생성된 스파이크 스트림이 포아송 특성을 가지며, 생물학적 신경 활동과 유사한 비정규적인 간격을 가지는 것으로 확인되었다.
• 이 데이터셋은 시간 코드를 사용한 SNN의 직접 평가를 가능하게 하며, 연속적 값 입력의 실질적인 대안을 제공한다.
• evt_MNIST는 생물학적으로 타당한 스파이크 타이밍을 사용한 SNN의 훈련 및 테스트를 지원하여, 뉴로모픽 컴퓨팅 연구의 현실성 향상에 기여한다.
• 이 데이터셋은 공개되어 있으며, 기존의 SNN 프레임워크 및 벤치마크 파이프라인에 원활하게 통합될 수 있도록 설계되었다.
• 이 접근법은 일관된 입력 조건에서 SNN 알고리즘 간 비교를 위한 표준화되고 재현 가능한 벤치마크를 제공한다.