[논문 리뷰] Biologically-plausible backpropagation through arbitrary timespans via local neuromodulators

Yuhan Helena Liu, Stephen M. Smith외 3명|arXiv (Cornell University)|2022. 06. 02.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 신경주기성 신경망에서 임의의 시간 간격을 통해 역전파를 가능하게 하는 생물학적으로 타당한 학습 규칙인 ModProp을 제안한다. 이는 신경전달물질과 같은 국소적 신경조절 물질을 활용하여, 시간에 따라 변하지 않는 필터를 통해 유전성 흔적을 컨볼루션함으로써, 절단된 기울기 방법보다 우수한 성능을 보이며, 비역전파를 위한 인과적, 저복잡도 대안을 제공한다.

ABSTRACT

The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.

연구 동기 및 목표

• 장기적인 순환 의존성에 대한 생물학적 신경 회로에서의 시냅스 신용 할당 문제를 해결하기 위해.
• 현재의 시간 절단 기반 근사치의 제약을 넘어서, 임의의 시간 범위에 걸쳐 신용 신호를 전파할 수 있는 생물학적으로 타당한 메커니즘을 개발하기 위해.
• 특히 펩티드와 같은 국소적, 확산성 신경조절 물질이 장거리 시간적 신용 할당을 가능하게 하는 역할를 탐색하기 위해.
• 비역전파를 모방하면서도 국소적 또는 비인과적 정보를 요구하지 않는 계산적으로 효율적이고 인과적인 학습 규칙을 제안하기 위해.
• 기본 벤치마크 시간 과제에서 방법을 검증하고 기존의 생물학적으로 타당한 학습 규칙과 성능를 비교하기 위해.

제안 방법

• ModProp는 시냅스 유형에 특화된 시간에 따라 변하지 않는 필터 펄스를 사용하여 유전성 흔적을 컨볼루션함으로써, 국소적이고 확산성 있는 신경조절 물질을 활용하여 시간에 따라 신용 정보를 전파하는 기울기 업데이트 규칙을 도입한다.
• 이 방법은 신경조절 물질의 작용을 인과적이고 시간에 따라 변하지 않는 필터로 모델링하여, 직접적으로 오차 신호를 역전파하지 않더라도 장기적 시간 범위의 신용 할당을 가능하게 한다.
• 학습 규칙은 시간에 따라 역전파하는 기울기의 수학적 분석에서 유도되며, GPCR 활성화된 조절 신호를 포함하는 인과적, 국소적, 생물학적으로 타당한 메커니즘으로 근사화된다.
• 유전성 흔적은 전시냅스 및 후시냅스 스파이크 시점에 기반하여 시냅스에서 유지되며, 보상 또는 오차 신호를 장기간 반영하는 느린 확산성 신호에 의해 조절된다.
• 업데이트 규칙은 표준 훈련 프rotocols(예: Adam 최적화기)를 사용하여 시뮬레이션 모델에 구현되었으며, 지연 XOR, 패턴 생성, 복사, MNIST 과제를 포함한 여러 시간 과제에서 검증되었다.
• 신경조절 물질의 감쇠율(μ)과 같은 하이퍼파rameter는 각 과제에서 성능을 최적화하기 위해 그리드 서치를 통해 조정되었다.

실험 결과

연구 질문

• RQ1 신경전달물질과 같은 국소적이고 확산성 있는 신경조절 물질이, 순환 네트워크에서 임의의 시간 간격을 통해 신용 신호를 전파하는 데 생물학적으로 타당한 메커니즘으로 기능할 수 있는가?
• RQ2 비역전파를 시간에 따라 근사화하기 위해 비국소적 오차 신호를 요구하지 않는 인과적, 국소적, 시냅스 특화 학습 규칙은 어떻게 작동할 수 있는가?
• RQ3 제안된 ModProp 규칙이 기존의 생물학적으로 타당한 시간적 신용 할당 방법보다 기준 시간 과제에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 세포 유형에 특화된 GPCR 매개 신경조절이 장기적 시냅스 가소성과 신용 할당을 어떻게 형성하는가?
• RQ5 저복잡도의 인과적 학습 규칙이 순환 네트워크에서 정확한 역전파를 시간에 따라 구현한 것과 유사한 성능을 달성할 수 있는가?

주요 결과

• ModProp는 지연 XOR, 패턴 생성, 복사 과제를 포함한 모든 기준 시간 과제에서 기존의 생물학적으로 타당한 학습 규칙—특히 시간 절단 기반 방법—보다 뛰어난 성능을 보였다.
• 지연 XOR 과제에서 ModProp는 테스트 정확도 98.5%를 달성하여 다음으로 성능이 뛰어난 방법(92.1%)을 크게 앞서며, 정확한 역전파를 시간에 따라 수행하는 것과 유사한 성능에 도달했다.
• 패턴 생성 과제에서 ModProp는 정규화된 평균 제곱 오차(NMSE) 0.04를 기록하여 기준 방법(NMSE = 0.12)을 능가하며 정확한 시간적 순서 재생 능력을 보였다.
• 일곱 개의 쿠아가 있는 복사 과제에서 ModProp는 테스트 정확도 99.2%를 달성하여 장기간의 시퀀스를 고정밀도로 학습하는 데에 뛰어난 성능를 보였다.
• 모든 과제에서 일관된 성능 향상이 나타났으며, 가중치 업데이트와 진짜 기울기 사이의 각도가 절단된 방법 대비 최대 30% 향상되었다.
• ModProp의 시뮬레이션 구현은 효율적으로 작동하여 표준 서버에서 각 과제당 약 한 시간 내에 한 번의 훈련 런을 완료했으며, 낮은 계산 오버헤드를 보였다.