[논문 리뷰] Short-term synaptic plasticity optimally models continuous environments.

Timoleon Moraitis, Abu Sebastian외 1명|arXiv (Cornell University)|2020. 09. 15.

Advanced Memory and Neural Computing참고 문헌 48인용 수 5

한 줄 요약

이 논문은 단기 시냅스 가소성(STDP)이 지속적으로 변화하는 환경에서 최적의 추론을 가능하게 한다고 제안하며, 생물학적으로 유사한 스파iking 신경망(SNN)이 국소적이고 비지도 학습을 통해 상태의 초과된 인공신경망(ANN)보다 월등한 성능을 보임을 이론적으로 증명하고 시뮬레이션을 통해 입증한다. 이는 단지 한 장의 정적 이미지로도 훈련된 경우에도 움직이는 가림막에 의해 손상된 영상 프레임을 인식하는 데서 뛰어난 정확도를 달성한다.

ABSTRACT

Biological neural networks operate with extraordinary energy efficiency, owing to properties such as spike-based communication and synaptic plasticity driven by local activity. When emulated in silico, such properties also enable highly energy-efficient machine learning and inference systems. However, it is unclear whether these mechanisms only trade off performance for efficiency or rather they are partly responsible for the superiority of biological intelligence. Here, we first address this theoretically, proving rigorously that indeed the optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on adaptivity through short-term spike-timing dependent plasticity, a hallmark of biological neural networks. Secondly, we assess this theoretical optimality via simulations and also demonstrate improved artificial intelligence (AI). For the first time, a largely biologically modelled spiking neural network (SNN) surpasses state-of-the-art artificial neural networks (ANNs) in all relevant aspects, in an example task of recognizing video frames transformed by moving occlusions. The SNN recognizes the frames more accurately, even if trained on few, still, and untransformed images, with unsupervised and synaptically-local learning, binary spikes, and a single layer of neurons - all in contrast to the deep-learning-trained ANNs. These results indicate that on-line adaptivity and spike-based computation may optimize natural intelligence for natural environments. Moreover, this expands the goal of exploiting biological neuro-synaptic properties for AI, from mere efficiency, to computational supremacy altogether.

연구 동기 및 목표

• 생물학적 신경 메커니즘인 단기 시냅스 가소성이 생물학적 지능의 계산적 우월성, 즉 에너지 효율성 이상의 요소에 기여하는지 여부를 규명하는 것.
• STDP가 지속적으로 변화하는 환경에서 최적의 예측과 추론을 가능하게 하는지 조사하는 것.
• 생물학적으로 현실적인 스파킹 신경망이 실제 세계 작업에서 최신 기술의 인공신경망을 능가할 수 있는지 테스트하는 것.
• 비지도, 시냅스적으로 국소적인 학습과 이진 스파이크가 최소한의 구조적 복잡성으로도 높은 성능을 달성하는 데 기여하는 바를 평가하는 것.

제안 방법

• 이론적 분석을 통해 단기 스파이크 시점 의존적 가소성(STDP)이 무작위로 지속적으로 변화하는 환경에서 예측 및 추론에 대해 수학적으로 최적임을 증명한다.
• 이중 스파이크와 국소적, 비지도 학습 규칙을 갖춘 단일 층의 스파킹 신경망(SNN)을 사용하여 시뮬레이션을 수행한다.
• SNN은 소수의 정적이고 변형되지 않은 이미지로 훈련되고, 움직이는 가림막에 의해 손상된 영상 프레임으로 테스트되어 일반화 및 적응 능력을 평가한다.
• 동일한 인식 작업에서 딥러닝으로 훈련된 인공신경망(ANN)과의 성능을 비교 평가한다.
• 학습 규칙은 전파된 오차 없이 국소적인 전조 및 후조 신경 활동에만 의존한다.
• 모델의 적응 능력은 STDP에서 자연스럽게 유도되며, 재학습 없이도 동적 입력 변화에 실시간으로 조정할 수 있다.

실험 결과

연구 질문

• RQ1 단기 스파이크 시점 의존적 가소성(STDP)이 지속적으로 변화하는 환경에서 추론에 대해 이론적으로 최적일 수 있는가?
• RQ2 국소적 비지도 학습을 갖춘 생물학적으로 현실적인 스파킹 신경망이 동적 시각 인식에서 최신 기술의 인공신경망을 능가할 수 있는가?
• RQ3 이진 스파이크와 백프로파게이션 없이 단일 층 SNN이 가림막이 있는 영상 인식에서 얼마나 높은 정확도를 달성할 수 있는가?
• RQ4 STDP를 통한 온라인 적응이 최소한의 정적 데이터로 훈련된 경우에도 뛰어난 성능을 가능하게 하는가?

주요 결과

• 이론적 분석을 통해 단기 STDP가 지속적으로 변화하는 환경에서 추론에 대해 최적임을 엄격하게 증명한다.
• SNN는 소수의 정적 이미지로만 훈련된 상태에서 움직이는 가림막이 있는 영상 프레임에서 최신 기술의 ANNs보다 더 높은 인식 정확도를 달성한다.
• SNN는 정확도, 내구성, 적응 능력 등 모든 관련 성능 측면에서 백프로파게이션 없이도 딥 아키텍처 없이 ANNs를 능가한다.
• 성능 향상은 오직 비지도, 시냅스적으로 국소적인 학습 규칙과 이진 스파이크만을 사용하여 달성되었으며, 생물학적 메커니즘의 계산적 잠재력을 부각시킨다.
• 결과는 STDP를 통한 온라인 적응이 자연스럽고 동적인 환경에서 뛰어난 추론을 가능하게 한다는 것을 보여준다.
• 본 연구는 생물학적 시냅스 특성이 에너지 효율성 이상의 계산적 우월성까지 가능하게 할 수 있음을 입증한다.