[논문 리뷰] Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits

Alexander G. Ororbia|arXiv (Cornell University)|2023. 03. 30.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 반사적 경로 없이 피드백 경로를 통해 신용 할당을 가능하게 하는, 스파iking 신경망을 위한 전방향 전용 학습 규칙인 대비 신호 의존성 가소성(CSDP)을 제안한다. 이는 하향, 상향 및 횡방향 자극에 의해 구동되는 국소적이고 계층별 막 전위 동역학을 활용하여 이루어진다. CSDP는 이벤트 기반의 자기지도 학습을 통해 순환 스파킹 신경망에서 영상 데이터의 효과적인 분류와 재구성에 성공하였으며, 뉴모르픽 하드웨어에서 에너지 효율적이고 뇌에 영향을 받은 계산을 위한 가능성을 입증한다.

ABSTRACT

Brain-inspired machine intelligence research seeks to develop computational models that emulate the information processing and adaptability that distinguishes biological systems of neurons. This has led to the development of spiking neural networks, a class of models that promisingly addresses the biological implausibility and {the lack of energy efficiency} inherent to modern-day deep neural networks. In this work, we address the challenge of designing neurobiologically-motivated schemes for adjusting the synapses of spiking networks and propose contrastive-signal-dependent plasticity, a process which generalizes ideas behind self-supervised learning to facilitate local adaptation in architectures of event-based neuronal layers that operate in parallel. Our experimental simulations demonstrate a consistent advantage over other biologically-plausible approaches when training recurrent spiking networks, crucially side-stepping the need for extra structure such as feedback synapses.

연구 동기 및 목표

• 피드백 경로 없이 신경 모방적이고 스파킹 신경망 아키텍처를 개발하여 사망 계산 원칙과 일치시킨다.
• 시간적으로 순전방향으로만 작용하는 대비 신호 의존성 가소성 규칙을 도입하여 전방-전방 학습을 스파킹 시스템으로 일반화한다.
• 오직 국소적 전후 시냅스 활동만을 사용하여 순환 SNN에서 안정적이고 온라인의 시냅스 적응을 가능하게 하여 분류 및 재구성 작업을 지원한다.
• 뉴모르픽 플랫폼에서 에너지 효율적인 AI를 위한 이벤트 기반 자기지도 학습이 스파킹 회로에서 가능함을 입증한다.
• 횡방향 억제와 동적 막 전위 계산을 통합하여 백프로파게이션과 예측 코딩의 생물학적으로 타당한 대안을 제공한다.

제안 방법

• CSDP는 각 뉴런의 막 전위를 하향, 상향 및 횡방향 시냅스 입력의 함수로 계산하여 동적이고 계층별 병렬 계산을 가능하게 한다.
• 시냅스 가소성 규칙은 자극에 대한 양성 및 음성 활성 패턴 간의 대비를 기반으로 가중치를 조정하며, 오차 역전파가 필요하지 않다.
• 모델은 자극 창 동안 이벤트 기반 처리를 사용하며, 스파이크는 국소 학습을 유도하는 이산적 사건으로 간주된다.
• 횡방향 억제를 통합하여 계층 내 경쟁적 동역학을 지원하고 표현의 분별력을 향상시킨다.
• 학습 규칙은 오직 전방향 원칙에서 유도되어 별도의 피드백 경로나 오차 신호 전송이 필요 없도록 한다.
• 순환 아키텍처는 입력 패턴의 시간적 통합을 가능하게 하여 분류 및 재구성 작업을 모두 지원한다.

실험 결과

연구 질문

• RQ1 스파킹 신경망이 피드백 경로나 역전파 없이 안정적인 자기지도 학습을 수행할 수 있는가?
• RQ2 대비 학습 원칙은 순환 SNN의 이벤트 기반 스파이크 트레인 처리에 어떻게 적응될 수 있는가?
• RQ3 국소적이고 전방향 전용 시냅스 가소성이 감각 입력의 정확한 분류와 재구성 둘 다를 지원할 수 있는가?
• RQ4 상향 및 횡방향 신호는 피드백이 없는 스파킹 네트워크에서 동적이고 계층별 계산에 어떻게 기여하는가?
• RQ5 CSDP 학습은 생물학적 타당성을 유지하면서도 뉴모르픽 하드웨어에서 효율적으로 구현될 수 있는가?

주요 결과

• CSDP는 전방향 전파와 국소 신호만을 사용하여 순환 스파킹 신경망에서 영상 데이터의 효과적인 분류를 가능하게 한다.
• 모델은 시간이 지남에 따라 입력 영상을 성공적으로 재구성하여 분산 표현을 학습하는 능력을 보여준다.
• 피드백 경로나 오차 역전파가 없는 것도 성능에 영향을 주지 않으며, SNN에서 전방향 전용 학습의 타당성을 뒷받침한다.
• 횡방향 억제를 통합함으로써 표현 학습이 향상되며, 콜 뉴런의 계산 메커니즘과 일치한다.
• 이 방법은 뉴모르픽 하드웨어와 호환되어 엣지 AI를 위한 저에너지, 칩 내 학습의 길을 열어준다.
• CSDP는 백프로파게이션과 예측 코딩의 생물학적으로 타당한 대안을 제공하며, 확장 가능하고 에너지 효율적인 AI 시스템의 잠재력을 지닌다.