[논문 리뷰] Spike Event Based Learning in Neural Networks

James A. Henderson, Tingting Gibson외 1명|arXiv (Cornell University)|2015. 02. 20.

Advanced Memory and Neural Computing참고 문헌 16인용 수 16

한 줄 요약

이 논문은 백프로파게이션 또는 전역 통계에 의존하지 않고, 자극 발생 시에만 유도되는 局소적이고 온라인 학습 규칙을 사용하여 조건부 순순간 발화율을 학습하는 생물학적으로 타당한 이벤트 기반 학습 체계를 제안한다. 이 방법은 DVS 카메라를 사용하여 동적 시각 작업에서 순환형 SNN의 엔드 투 엔드 학습을 가능하게 하며, 움직이는 MNIST에서 87.41%의 분류 정확도를 달성한다. 이는 딥러닝과 계산 신경과학 원리 간의 다리를 놓는다.

ABSTRACT

A scheme is derived for learning connectivity in spiking neural networks. The scheme learns instantaneous firing rates that are conditional on the activity in other parts of the network. The scheme is independent of the choice of neuron dynamics or activation function, and network architecture. It involves two simple, online, local learning rules that are applied only in response to occurrences of spike events. This scheme provides a direct method for transferring ideas between the fields of deep learning and computational neuroscience. This learning scheme is demonstrated using a layered feedforward spiking neural network trained self-supervised on a prediction and classification task for moving MNIST images collected using a Dynamic Vision Sensor.

연구 동기 및 목표

• 신경세포의 동역학, 활성화 함수, 네트워크 아키텍처에 의존하지 않는 스파iking 신경망을 위한 학습 체계 개발
• 스파이크 이벤트에만 기반한 온라인, 국소적 학습을 가능하게 하여 생물학적 타당성과 계산 효율성을 향상
• 대표성 학습 및 정규화와 같은 개념을 스파이크 네트워크로 이전함으로써 딥러닝과 계산 신경과학 원리를 융합
• 실세계의 이벤트 기반 시각 작업에서 동적 비전 센서(DVS) 데이터를 사용하여 방법의 성능을 입증
• 표준 딥러닝 기법들—예를 들어 드롭아웃과 노이즈 제거 autoencoder—이 이 학습 프레임워크를 통해 스파이크 신경망에 직접 적용될 수 있음을 보여줌

제안 방법

• 기울기 계산이나 통계적 샘플링이 필요 없이, 스파이크 이벤트를 이용해 조건부 순순간 발화율을 추정하는 데 기반한 학습 체계
• 스파이크 이벤트 발생 시에만 적용되는 두 가지 단순한 온라인, 국소적 학습 규칙을 사용하여, 이는 확장성과 실시간 처리에 적합
• 신경세포의 동역학이나 활성화 함수에 독립적으로 작동하여, 정규화 선형 단위를 포함한 다양한 SNN 모델에 적용 가능
• 시간 지연이 있는 계층적 피드포워드 SNN 아키텍처로, DVS MNIST 데이터에서 자기지도 예측 및 분류 학습을 통해 훈련
• 일반화 성능 향상을 위해 은닉층에 드롭아웃을 적용하여 딥러닝 기법의 직접 이식 가능성을 입증
• 수용성 및 예측 필드를 시각화하여, 뉴런들이 입력 이벤트에서 특정 시공간 패턴을 어떻게 인코딩하는지 분석

실험 결과

연구 질문

• RQ1 백프로파게이션 없이 스파이크 이벤트에만 기반한 학습 규칙이 스파이크 신경망에서 효과적인 학습을 가능하게 할 수 있는가?
• RQ2 이 이벤트 기반 학습 체계를 통해 드롭아웃과 노이즈 제거 autoencoder와 같은 딥러닝 개념을 스파이크 네트워크에 얼마나 잘 적응시킬 수 있는가?
• RQ3 제안된 방법이 온라인, 연속 시간 환경에서 동적 시각 입력의 정확한 예측 및 분류를 가능하게 하는가?
• RQ4 훈련 과정에서 네트워크의 수용성 및 예측 필드는 어떻게 변화하며, 이는 특징 표현에 대해 무엇을 드러내는가?
• RQ5 이 학습 체계는 뉴런의 동역학이나 활성화 함수에 관계없이 스파이크 및 비스파이크 신경망에 모두 적용 가능한가?

주요 결과

• DVS 이벤트 기반 입력을 사용하여 움직이는 MNIST 데이터셋에서 테스트 분류 정확도가 87.41%에 도달하여 동적 시각 작업에서 효과적인 학습을 입증
• 완전한 훈련 후 분류 오차는 12.59%로 감소하였으며, 오차 감소 추이가 에psilon 절반화를 통한 학습률 감소와 동기화됨
• 첫 번째 은닉층의 수용성 필드는 초기 무작위 가중치에서 시작하여 특화된 반응으로 진화하였으며, 일부 뉴런은 국소적 픽셀 패턴에, 다른 뉴런은 분산된 특징에 대해 조정됨
• 예측 필드는 수용성 필드보다 더 공간적으로 분포되어 있어, 향후 입력 예측이 다수의 뉴런에 걸쳐 인코딩됨을 시사함
• 정규화 없이 네트워크는 항등 맵핑을 학습하지만, 드롭아웃 적용 시 연결성이 희박해지고 더 정보적인 구조로 전환되어, 이는 표준 딥러닝 정규화와의 호환성을 확인
• 학습 체계는 중단 없이 온라인, 국소적, 연속적인 학습을 성공적으로 지원하여, 이벤트 기반 데이터 스트림에 대한 실시간 배포 가능