[논문 리뷰] A simple and efficient SNN and its performance & robustness evaluation method to enable hardware implementation.

Anmol Biswas, Sidharth Kumar Prasad외 2명|arXiv (Cornell University)|2016. 12. 07.

Advanced Memory and Neural Computing참고 문헌 9인용 수 12

한 줄 요약

이 논문은 효율적인 하드웨어 매핑을 위한 단순한 두 층의 스파iking 신경망(SNN)을 제안하며, 시냅스-뉴런 공동 설계와 인구 코드화를 활용한다. 0.98의 정확도와 상관관계를 가지며 표준 테스트보다 15,000배 빠른 계산 효율을 보이는 성능 평가 지표 방법을 도입하여 빠른 강건성 평가가 가능해졌으며, 벤치마크 데이터셋에서 이전 SNN들보다 훈련 에포크 수를 30배 줄이고 시냅스 수를 3.5배 줄였다.

ABSTRACT

Spiking Neural Networks (SNN) are more closely related to brain-like computation and inspire hardware implementation. This is enabled by small networks that give high performance on standard classification problems. In literature, typical SNNs are deep and complex in terms of network structure, weight update rules and learning algorithms. This makes it difficult to translate them into hardware. In this paper, we first develop a simple 2-layered network in software which compares with the state of the art on four different standard data-sets within SNNs and has improved efficiency. For example, it uses lower number of neurons (3 x), synapses (3.5 x) and epochs for training (30 x) for the Fisher Iris classification problem. The efficient network is based on effective population coding and synapse-neuron co-design. Second, we develop a computationally efficient (15000 x) and accurate (correlation of 0.98) method to evaluate the performance of the network without standard recognition tests. Third, we show that the method produces a robustness metric that can be used to evaluate noise tolerance.

연구 동기 및 목표

• 교착 배열 구현을 위한 복잡도를 감소시킨 최소 크기의 하드웨어 우수 SNN 설계.
• 표준 SNN 성능 평가의 계산적 병목 현상을 해결하기 위해 더 빠르고 정확한 대안 방법 개발.
• 새로운 평가 방법을 통해 유도된 확률적 시뮬레이션을 활용해 노이즈에 대한 네트워크 강건성의 정량화 및 평가.
• 추가 훈련 에포크가 성능 향상에 기여하지 않음에도 불구하고 노이즈 내성은 향상됨을 보여주며, 강건성 지표의 타당성을 검증.

제안 방법

• 입력 및 출력 레이어만을 사용한 두 층의 SNN 설계를 통해 입력 특징을 정규화된 전류 수준으로 매핑하기 위해 인구 코드화를 적용.
• 입력에서 출력 뉴런으로의 활성화 연결과 동일한 뉴런 간의 억제성 시냅스을 통해 '승자 한 명' 스파이크 규칙을 강제.
• 초기 훈련 단계에서 잘못된 출력 뉴런의 발화를 억제하기 위해 감독 학습 기반 헤브의 학습법과 음성 보상 전류를 적용.
• 출력 전류 공간에서 클래스 평균 간의 분리도를 기반으로 한 성능 지표 메트릭을 도입하며, 이는 DC 유사 분석을 통해 계산됨.
• 표준 인식 테스트와의 상관관계가 0.98에 도달함을 확인하여 성능 지표를 분류 정확도의 대체 지표로 활용.
• 학습된 가중치에 평균이 0인 가우시안 노이즈를 적용한 확률적 시뮬레이션을 수행하여 노이즈 내성 평가 및 강건성 지표 도출.

실험 결과

연구 질문

• RQ1 최소 크기의 두 층 SNN이 복잡도를 크게 감소시킨 상태에서 표준 SNN 벤치마크에서 최신 성능을 달성할 수 있는가?
• RQ2 SNN에서 표준 일시적 기반 인식 테스트를 대체할 수 있는 계산 효율이 높은 메트릭을 개발할 수 있는가?
• RQ3 제안된 성능 지표가 다양한 훈련 단계에서 실제 분류 정확도와 강하게 상관관계를 가지는가?
• RQ4 훈련 횟수 증가가 노이즈 내성에 얼마나 기여하는가? 이는 강건성 지표로 정량화할 수 있는가?
• RQ5 새로운 평가 방법이 하드웨어 매핑된 SNN의 강건성 분석을 위한 확률적 시뮬레이션을 얼마나 가속화할 수 있는가?

주요 결과

• 제안된 SNN는 피셔 아카이브 데이터셋에서 이전 SNN들보다 뉴런 수를 3배 줄이고, 시냅스 수를 3.5배 줄이며, 훈련 에포크 수를 30배 줄였지만 경쟁력 있는 성능 유지를 달성했다.
• 성능 지표는 표준 분류 정확도와 강한 상관관계(R = 0.98)를 보이며, 계산 비용을 15,000배 낮춘 신뢰할 수 있는 성능 추정이 가능하다.
• 이 방법은 빠른 확률적 시뮬레이션을 가능하게 하여, 위스콘신 유방암 데이터셋 기준 평가 시간을 약 150초에서 약 0.01초로 단축시켰다.
• 14개의 훈련 에포크 후, 한 에포크 훈련 대비 강건성 지표가 2.5배 높고, 노이즈 내성은 2배 향상되었다(90% 정확도에서 표준편차 σ = 100 vs. σ = 50).
• 추가 훈련으로 인한 성능 향상은 미미한 편(93% → 96% 정확도)이지만, 강건성은 크게 향상되어 강건성이 정확도만으로는 학습 품질을 평가하는 데에 더 좋은 지표임을 시사한다.
• 성능 지표와 강건성 지표가 함께 사용될 경우, 하드웨어 매핑 및 고장 내성 분석을 위한 SNN의 효율적이고 정확하며 확장 가능한 평가가 가능하다.