[논문 리뷰] Synaptic Plasticity Models and Bio-Inspired Unsupervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi외 2명|arXiv (Cornell University)|2023. 07. 30.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

이 종합 검토는 생물학적으로 영감을 받은 시냅스 가소성 모델—특히 헤브의 규칙과 STDP 규칙—과 그 비지도 학습에 통합된 방식을 검토하며, 백프로파게이션 기반의 깊은 학습의 핵심적 한계를 해결할 잠재력을 강조한다. 이러한 한계에는 높은 데이터 및 에너지 소비, 적대적 공격에 대한 취약성, 생물학적 타당성 부족 등이 포함된다. 본 논문은 이러한 메커니즘이 국소적이고 기울기 기반 학습이 아닌 학습을 가능하게 하고, 에너지 효율적인 뉴모르픽 컴퓨팅을 지원함을 보여준다.

ABSTRACT

Recently emerged technologies based on Deep Learning (DL) achieved outstanding results on a variety of tasks in the field of Artificial Intelligence (AI). However, these encounter several challenges related to robustness to adversarial inputs, ecological impact, and the necessity of huge amounts of training data. In response, researchers are focusing more and more interest on biologically grounded mechanisms, which are appealing due to the impressive capabilities exhibited by biological brains. This survey explores a range of these biologically inspired models of synaptic plasticity, their application in DL scenarios, and the connections with models of plasticity in Spiking Neural Networks (SNNs). Overall, Bio-Inspired Deep Learning (BIDL) represents an exciting research direction, aiming at advancing not only our current technologies but also our understanding of intelligence.

연구 동기 및 목표

• 생물학적으로 타당한 시냅스 가소성 메커니즘을 검토하여 신경과학과 인공지능 사이의 격차를 메우기.
• 현재의 깊은 학습의 핵심적 한계를 해결하기 위해, 대규모 레이블이 부여된 데이터셋에 대한 의존성, 높은 에너지 소비, 적대적 입력에 대한 취약성 등을 다루기.
• 신경 가소성에 영감을 받은 비지도 학습 메커니즘이 강력하고 효율적이며 생물학적으로 타당한 인공지능 시스템을 가능하게 할 수 있는 방식을 탐색하기.
• 생물학적으로 영감을 받은 가소성 메커니즘을 깊은 학습 아키텍처와 스파iking 신경망(SNNs)에 통합하여 뉴모르픽 컴퓨팅을 위한 연구를 수행하기.
• STDP와 같은 국소적이고 기울기 기반 학습이 아닌 학습 규칙이 RBF 네트워크와 같은 깊은 네트워크에서의 기울기 소실 문제를 극복할 잠재력을 부각하기.

제안 방법

• 단일 뉴런에 대한 헤브의 학습 규칙에 대한 체계적 검토로, 공분산 기반 및 오자의 규칙을 포함하여 비지도 특징 추출을 모델링한다.
• 가소성 메커니즘을 다중 뉴런 집단으로 확장하여 클러스터링, 주성분 분석(PCA), 다양체 학습 기법 등 패턴 발견 기법과 연결한다.
• STDP(Spike-Timing-Dependent Plasticity) 분석: 생물학적으로 타당한 규칙으로, 시냅스 가중치 변화가 전후 뉴런의 스파이크 타이밍에 따라 달라지며, 이는 이중 지수 함수 프로파일을 따른다.
• 전통적인 백프로파게이션과 생물학적으로 영감을 받은 가소성 메커니즘을 융합한 하이브리드 학습 프레임워크를 통해 성능과 생물학적 타당성을 동시에 확보한다.
• 스파이킹 신경망(SNNs)이 생물학적으로 현실적인 학습을 구현할 수 있는 기반으로서, 에너지 효율적인 뉴모르픽 하드웨어 구현을 가능하게 한다.
• 계산적 트레이드오프 평가: 시뮬레이션 비용과 병렬화 전략 분석을 포함하며, 특히 GPU 가속을 통한 효율성 향상에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 헤브의 규칙과 STDP 기반의 시냅스 가소성 규칙는 어떻게 수학적으로 정의되고 비지도 학습 아키텍처에 적용될 수 있는가?
• RQ2 비지도 학습 알고리즘(예: PCA, 클러스터링)과 신경 집단 내 생물학적으로 영감을 받은 가소성 메커니즘 사이의 관계는 무엇인가?
• RQ3 생물학적으로 영감을 받은 가소성 규칙는 어떻게 적대적 입력에 대한 강건성과 깊은 학습의 데이터 및 에너지 소비를 줄이는 데 기여할 수 있는가?
• RQ4 STDP와 SNN은 어떻게 뉴모르픽 하드웨어에서 효율적이고 저전력의 추론 및 학습을 가능하게 하는가?
• RQ5 기울기 기반 백프로파게이션과 국소적이고 생물학적으로 타당한 학습 규칙을 깊은 네트워크에서 융합할 때의 과제와 기회는 무엇인가?

주요 결과

• STDP는 스파이킹 뉴런에서 헤브의 원리를 구현하여, 전시냅스 스파이크가 후시냅스 스파이크 이전에 발생할 경우 시냅스를 강화하며, 가중치 변화는 스파이크 타이밍 차이에 대해 이중 지수 함수를 따른다.
• 오자의 규칙과 같은 헤브의 학습 규칙은 주성분 분석(PCA)과 동등한 비지도 특징 추출을 수행할 수 있으며, 생물학적으로 타당한 방식으로 차원 축소를 가능하게 한다.
• 생물학적으로 영감을 받은 가소성 메커니즘, 특히 STDP는 국소적이고 기울기 기반 학습이 아닌 학습을 지원하여 기울기 소실 문제를 완화하고 RBF 네트워크와 같은 깊은 아키텍처의 효율적 학습을 가능하게 한다.
• STDP로 학습된 스파이킹 신경망(SNNs)은 희박하고 이벤트 기반의 계산을 활용하여 에너지 효율적인 인공지능을 위한 길을 열어 뉴모르픽 하드웨어에 적합하다.
• 백프로파게이션과 생물학적으로 영감을 받은 가소성 메커니즘을 융합한 하이브리드 학습 프레임워크는 성능과 생물학적 타당성의 균형을 이루는 데 잠재력을 보이며, 아직 순수 백프로파게이션 방법에 비해 성능은 뒤처진다.
• 신경과학의 통찰과 공학적 접근법의 융합은 상호 이로움을 줄 수 있으며, 이는 인공지능 발전 뿐 아니라 뇌 기능에 대한 이해를 심화시키는 데에도 기여한다.