[논문 리뷰] Optimality of short-term synaptic plasticity in modelling certain dynamic environments

Timoleon Moraitis, Abu Sebastian외 1명|arXiv (Cornell University)|2020. 09. 15.

Advanced Memory and Neural Computing참고 문헌 65인용 수 4

한 줄 요약

이 논문은 짧은 시간 동안의 시냅스 가소성(STP), 특히 짧은 시간의 강화를 포함한 스파ike 타이밍 의존 가소성(STDP)가 동적으로 변형되는 환경에서 예측 및 추론을 위한 베이즈 최적임을 증명한다. 저자들은 단지 局부적이고 비지도 학습을 통한 STP만을 사용하는 스파iking 신경망(SNN)이 매우 왜곡되고 새로운 동적 자극을 인식할 수 있음을 입증하였으며, 이는 백프로파게이션으로 학습된 딥 뉴럴 네트워크를 능가한다. 이는 뉴모르픽 AI에서 계산적 우월성을 위한 핵심 메커니즘으로서 STP의 역할을 확립한다.

ABSTRACT

Biological neurons and their in-silico emulations for neuromorphic artificial intelligence (AI) use extraordinarily energy-efficient mechanisms, such as spike-based communication and local synaptic plasticity. It remains unclear whether these neuronal mechanisms only offer efficiency or also underlie the superiority of biological intelligence. Here, we prove rigorously that, indeed, the Bayes-optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on short-term spike-timing-dependent plasticity, a hallmark of biological synapses. Further, this dynamic Bayesian inference through plasticity enables circuits of the cerebral cortex in simulations to recognize previously unseen, highly distorted dynamic stimuli. Strikingly, this also introduces a biologically-modelled AI, the first to overcome multiple limitations of deep learning and outperform artificial neural networks in a visual task. The cortical-like network is spiking and event-based, trained only with unsupervised and local plasticity, on a small, narrow, and static training dataset, but achieves recognition of unseen, transformed, and dynamic data better than deep neural networks with continuous activations, trained with supervised backpropagation on the transforming data. These results link short-term plasticity to high-level cortical function, suggest optimality of natural intelligence for natural environments, and repurpose neuromorphic AI from mere efficiency to computational supremacy altogether.

연구 동기 및 목표

• 생물학적 시냅스 가소성 메커니즘, 특히 짧은 시간 동안의 가소성(STP)이 에너지 효율성 외에도 자연지능에서의 계산적 우월성을 이끌어내는지 여부를 규명하는 것.
• STP가 시간이 지남에 따라 무작위로 지속적으로 변화하는 환경에서 최적의 베이즈 추론을 가능하게 하는지 조사하는 것.
• 스파iking 신경망(SNN)이 비지도 학습 및 국소적 STP만을 사용하여 기존의 인공신경망(ANN)에 비해 동적 시각 인식 과제에서 뛰어난 성능을 내는지 테스트하는 것.
• 엄밀한 베이즈 프레임워크를 통해 저수준의 시냅스 동역학과 고수준의皮질 계산 간의 기계적 연결 고리를 확립하는 것.

제안 방법

• 저자들은 연속적이고 무작위로 변형되는 환경에서 STP가 베이즈 최적 추론을 가능하게 함을 수학적으로 증명한다.
• 백프로파게이션 없이 비지도 학습 규칙만을 사용하는 국소적 STP를 적용한 스파킹 신경망(SNN)을 구현한다.
• 신경전달물질 방출의 타이밍과 최근 활동에 따라 시냅스 효율성을 동적으로 조절하는 짧은 시간의 강화 메커니즘(ST-STDP)을 사용한다.
• 네트워크는 얼굴가로 정렬 등 변형되는 자극을 포함한 동적 시각 인식 과제에서 테스트되며, 이전에 본 적 없는 시야를 인식해야 한다.
• 동일한 동적 데이터셋에서 동일한 과제에서 지도 학습 및 백프로파게이션으로 학습된 표준 ANNs, RNN 및 LSTMs와 성능을 비교한다.
• 모델은 RNN의 순환 메모리와는 별개로, 각 시냅스마다 독립적인 메모리 기능을 구현한 시냅스 수준의 짧은 시간 메모리 메커니즘을 포함한다.

실험 결과

연구 질문

• RQ1 짧은 시간 동안의 시냅스 가소성(STP)은 동적으로 변형되는 환경에서 추론 및 예측을 위한 베이즈 최적일까?
• RQ2 비지도 학습 및 국소적 STP만을 사용하는 스파킹 신경망(SNN)은 기존의 인공신경망(ANN)보다 더 왜곡되고 새로운 동적 자극을 더 잘 인식할 수 있을까?
• RQ3 SNN의 시냅스 수준의 짧은 시간 메모리는 RNN 및 LSTMs의 순환 메모리보다 질적으로 계산적 우위를 제공하는가?
• RQ4 생물학적으로 타당한 이벤트 기반 SNN은 최소한의 훈련 데이터와 지도 학습 없이도 백프로파게이션으로 학습된 ANNs를 능가할 수 있는가?

주요 결과

• 논문은 STP가 연속적이고 무작위로 변형되는 환경에서 베이즈 최적 추론을 가능하게 함을 수학적으로 증명한다.
• ST-STDP를 사용하는 SNN은 백프로파게이션으로 학습된 딥 뉴럴 네트워크를 능가하여, 예를 들어 돌고 있는 얼굴의 정면 시야와 같은 이전에 훈련된 바 없는 매우 왜곡된 동적 자극을 성공적으로 인식한다.
• SNN은 동일한 동적 시각 인식 과제에서 지도 학습 및 백프로파게이션으로 학습된 딥 뉴럴 네트워크를 능가하는 성능을 보인다.
• SNN의 성능 우월성은 각 시냅스에서 독립적으로 최근 특징 표현을 유지하는 시냅스 특화의 짧은 시간 메모리에서 기인하며, 이는 RNN 및 LSTMs가 뉴런 수준의 순환 메모리에 의존하는 것과는 다릅니다.
• SNN은 시냅스 강화의 짧은 시간 상수 덕분에 노이즈가 많은 프레임에서도 높은 정확도를 유지하며, 가려진 프레임에서도 전체적으로 ANNs를 능가하는 성능을 보인다.
• 결과는 STP가 단지 에너지 절약 메커니즘이 아니라 생물학적 및 뉴모르픽 지능에서 계산적 우월성의 핵심 요소임을 시사한다.