[논문 리뷰] Short-Term Plasticity Neurons Learning to Learn and Forget

Hector Garcia Rodriguez|arXiv (Cornell University)|2022. 06. 28.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 역전파를 시간에 따라 적용하여 시냅스 가소성 매개변수를 학습할 수 있도록 해주는 새로운 순환 신경 단위인 단기 가소성 뉴런(STPN)을 소개한다. 이로 인해 네트워크는 동적으로 학습하고 잊는 능력을 갖추게 되며, 에너지 소비를 최소화하는 동적 시냅스 억제를 통해 강화학습 및 지도학습 과제에서 RNN, LSTM 및 기타 가소성 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

Short-term plasticity (STP) is a mechanism that stores decaying memories in synapses of the cerebral cortex. In computing practice, STP has been used, but mostly in the niche of spiking neurons, even though theory predicts that it is the optimal solution to certain dynamic tasks. Here we present a new type of recurrent neural unit, the STP Neuron (STPN), which indeed turns out strikingly powerful. Its key mechanism is that synapses have a state, propagated through time by a self-recurrent connection-within-the-synapse. This formulation enables training the plasticity with backpropagation through time, resulting in a form of learning to learn and forget in the short term. The STPN outperforms all tested alternatives, i.e. RNNs, LSTMs, other models with fast weights, and differentiable plasticity. We confirm this in both supervised and reinforcement learning (RL), and in tasks such as Associative Retrieval, Maze Exploration, Atari video games, and MuJoCo robotics. Moreover, we calculate that, in neuromorphic or biological circuits, the STPN minimizes energy consumption across models, as it depresses individual synapses dynamically. Based on these, biological STP may have been a strong evolutionary attractor that maximizes both efficiency and computational power. The STPN now brings these neuromorphic advantages also to a broad spectrum of machine learning practice. Code is available at https://github.com/NeuromorphicComputing/stpn

연구 동기 및 목표

• 단기 가소성(STP)을 딥 러닝 모델에 통합하여 생물학적 신경계 계산과 인공 신경망 간 격차를 메우는 것.
• 생물학적으로 타당한 메커니즘을 활용하여 고표본 복잡도, 낮은 작업 적응성, 높은 에너지 소비 등의 인공 신경망의 핵심 한계를 해결하는 것.
• 역전파를 시간에 따라 적용하여 시냅스 가소성 매개변수를 학습시켜 네트워크가 최적의 단기 기억 동역학을 메타학습할 수 있도록 하는 것.
• STP가 모델의 전문성과 에너지 효율성을 동시에 향상시킬 수 있음을 입증하여, 특히 동적이고 순차적인 과제에서의 성능 향상을 이루는 것.

제안 방법

• STPN은 각 시냅스 내에 자기 피드백 연결을 도입하여 시간이 지남에 따라 감쇠하는 동적 시냅스 상태를 유지함으로써 단기 가소성을 모델링한다.
• 각 시냅스는 장기 가중치 $w_{ij}$와 함께 두 개의 훈련 가능한 STP 매개변수 $\lambda$ 및 $\gamma$를 갖는데, 이는 단기 기억의 감쇠와 강화를 조절한다.
• 시냅스 상태는 재귀 메커니즘을 통해 시간에 따라 전파되며, 이로 인해 가중치의 기울기가 시간에 따라 흐르게 되어 가소성 매개변수를 최적화할 수 있다.
• 모델은 역전파를 시간에 따라 적용하여 장기 가중치와 단기 가소성 동역학을 동시에 최적화함으로써 기억 감쇠와 강화의 엔드 투 엔드 학습을 가능하게 한다.
• 이 아키텍처는 전방향 및 순환 네트워크 모두에 적용되며, 모든 시냅스에 가소성이 적용되며, 지도학습과 강화학습을 모두 지원한다.
• 에너지 효율성은 비활성 시냅스가 억제되는 동적 시냅스 억제를 측정하여 평가된다. 이는 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 역전파를 시간에 따라 적용하여 시냅스의 단기 가소성을 훈련시킬 수 있는가? 이를 통해 동적 기억 패턴의 메타학습이 가능한가?
• RQ2 표준 RNN 및 LSTM과 비교해 볼 때, 순환적 시냅스 상태 메커니즘이 순차적 및 동적 과제에서 성능과 안정성을 향상시키는가?
• RQ3 훈련 가능한 단기 가소성이 딥 러닝 모델에서 동시에 모델의 전문성과 에너지 효율성을 향상시킬 수 있는가?
• RQ4 STPN이 잊는 능력을 학습함으로써 훈련 안정성과 다양한 과제 간 일반화 능력이 얼마나 향상되는가?
• RQ5 수렴 속도, 최종 성능, 하이퍼파라미터 선택에 대한 강건성 측면에서 STPN은 다른 패스트웨이트 및 미분 가능 가소성 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• STPN은 유인 기억 회수, 미로 탐색, 아케이드 게임, MuJoCo 로봇 과제를 포함한 다양한 과제에서 RNN, LSTM, 패스트웨이트 모델 및 다양한 가소성 기반 모델보다 뛰어난 성능을 보였다.
• 역경향 펜듈럼 과제에서 STPN은 표준 MLP보다 훈련 안정성이 뛰어나 이전 연구에서 보고된 중간 훈련 단계의 불안정성을 피했다.
• STPN은 하이퍼파라미터 민감도가 낮아, Pong 과제에서 LSTM이 고학습률을 사용할 수 없었음에도 불구하고 더 높은 학습률을 견딜 수 있었다.
• 모델는 빠른 수렴과 높은 전문성을 보이며 최적의 기억 동역학을 효과적으로 메타학습하고 있음을 시사한다.
• 훈련 시간이 지남에 따라 중요하지 않은 시냅스가 동적으로 억제되면서 에너지 소비가 감소함을 확인하였으며, 이는 계산 비용을 줄이는 방식으로 잊는 능력을 학습하고 있음을 뒷받침한다.
• 특히 아케이드 게임과 MuJoCo 과제에서 보다 보다 낮은 에너지 소비 증가율과 보다 높은 보상 증가율 간 강력한 일치를 보이며 효율성과 성능의 우수한 조화를 이루었다.