[논문 리뷰] Dis-inhibitory neuronal circuits can control the sign of synaptic plasticity

Julian Rossbroich, Friedemann Zenke|arXiv (Cornell University)|2023. 10. 30.

Neural dynamics and brain function인용 수 4

한 줄 요약

이 논문은 상향방향의 비활성화 회로가 오차 신호를 인코딩하여 시냅스 가소성의 부호를 제어하는 생물학적으로 타당한 학습 규칙을 제안한다. 반복적 억제에 의존하는 히브시안 규칙을 유도함으로써, 명시적인 오차 뉴런 없이도 기울기 기반 학습을 자연스럽게 구현하며, 시각 벤치마크에서 백프로파게이션과 유사한 성능을 달성하면서도 기능 이론과 실험적으로 관찰된 가소성 규칙을 조화시킨다.

ABSTRACT

How neuronal circuits achieve credit assignment remains a central unsolved question in systems neuroscience. Various studies have suggested plausible solutions for back-propagating error signals through multi-layer networks. These purely functionally motivated models assume distinct neuronal compartments to represent local error signals that determine the sign of synaptic plasticity. However, this explicit error modulation is inconsistent with phenomenological plasticity models in which the sign depends primarily on postsynaptic activity. Here we show how a plausible microcircuit model and Hebbian learning rule derived within an adaptive control theory framework can resolve this discrepancy. Assuming errors are encoded in top-down dis-inhibitory synaptic afferents, we show that error-modulated learning emerges naturally at the circuit level when recurrent inhibition explicitly influences Hebbian plasticity. The same learning rule accounts for experimentally observed plasticity in the absence of inhibition and performs comparably to back-propagation of error (BP) on several non-linearly separable benchmarks. Our findings bridge the gap between functional and experimentally observed plasticity rules and make concrete predictions on inhibitory modulation of excitatory plasticity.

연구 동기 및 목표

• 기본 이론으로서의 기울기 기반 학습과 뇌에서의 경험적 히브시안 가소성 규칙 사이의 괴리를 해결하기 위해.
• 명시적인 국소 오차 뉴런 없이도 오차 신호가 상향방향의 비활성화 입력에 어떻게 인코딩될 수 있는지 보여주기 위해.
• 실험적으로 관찰된 가소성 동역학을 설명하면서도 심층 신경망에서 효과적인 신용 할당을 가능하게 하는 생물학적으로 타당한 학습 규칙을 개발하기 위해.
• 억제에 의존하는 가소성이 도전적인 비선형 분리 가능한 작업을 처리할 수 있도록 도와주는가를 보여주기 위해.

제안 방법

• 저자들은 상향방향 입력이 억제성 간상세포를 타겟으로 하여 자극을 조절하는 비활성화 미세회로 모티프로 딥 피드백 제어(DFC) 프레임워크를 확장한다.
• 억제성 전류에 명시적인 의존성을 가진 히브시안 가소성 규칙을 유도함으로써, 비활성화 피드백에 의해 가소성의 부호를 제어할 수 있도록 한다.
• 네트워크의 자코비안에서 피드백 가중치를 계산하는 제어 이론적 프레임워크를 사용하며, 생물학적 타당성을 위해 순순간 및 평균 자코비안 기반 피드백을 모두 적용한다.
• 수치 시뮬레이션은 적응형 스텝 크기를 가진 티소라스의 5차 오일러 방법을 사용하여 동적 방정식을 해석하고 평형 상태에 도달한 후, ADAM 최적화기로 가중치를 갱신한다.
• 분류 작업은 소프트맥스 포화 문제를 피하기 위해 교차 엔트로피 손실과 소프트 타겟(정답 클래스는 0.99, 나머지는 0.01/(n−1))을 사용하는 선형 출력층을 사용한다.
• 피드백 가중치는 정규화된 자코비안으로 계산되며, 생물학적 타당성을 위해 입력 의존성과 평균 자코비안 버전을 모두 테스트한다.

Figure 1: Explicit error modulation of the sign of plasticity is inconsistent with phenomenological plasticity models. (a) In neuronal circuits, top-down feedback connections target excitatory neurons, as well as inhibitory and dis-inhibitory circuits that have been implicated in gating of plasticit

실험 결과

연구 질문

• RQ1 비활성화 미세회로가 명시적인 오차 뉴런 없이도 자연스럽게 오차 신호를 인코딩하여 시냅스 가소성의 부호를 제어할 수 있는가?
• RQ2 억제에 의존하는 히브시안 가소성 규칙이 실험적으로 관찰된 가소성 동역학을 어떻게 재현할 수 있는가?
• RQ3 이러한 규칙이 심층 신경망에서 백프로파게이션과 유사한 성능을 달성할 수 있는가?
• RQ4 이 학습 규칙은 안정적이며 비선형 분리 가능한 작업을 처리할 수 있는가?

주요 결과

• 정확한 역행 피드백 규칙을 사용한 3층 네트워크에서 비활성화 학습 규칙은 MNIST에서 검증 정확도 97.5±0.19%를 달성하였으며, 이는 BP의 98.2±0.14%와 유사하다.
• 평균 자코비안 피드백을 사용한 경우, 3층 MNIST에서 96.9±1.6%의 정확도를 기록하여 생물학적으로 비현실적인 입력 의존성 피드백에 대해서도 강건함을 입증하였다.
• 패션-MNIST에서 정확한 역행 피드백을 사용한 결과, 90.0±0.38%의 정확도를 기록하였으며, 이는 동일한 작업에서 BP의 90.3±0.34%와 일치한다.
• 억제에 의존하는 학습을 통해 도전적인 히브시안 가소성의 폭주 현상을 효과적으로 안정화시켰으며, 통제되지 않은 가중치 증가를 방지하였다.
• 모의 실험 조건 하에서 유도된 학습 규칙이 경험적 가소성 모델의 정성적 특성과 일치하여, 문헌에서 오랫동안 지속된 핵심 모순을 해결하였다.
• 이 프레임워크는 특정 간상세포에 상향방향 비활성화 입력이 흥분성 가소성을 게이트할 수 있음을 예측하며, 실험 검증이 가능한 가설을 제시한다.

Figure 2: Illustration of a multi-layer network with dis-inhibitory control microcircuits (left). Each network unit consists of an excitatory and inhibitory neuron that are recurrently connected (right). The top-down control signal to each layer $\mathbf{Q}_{i}\mathbf{c}(t)$ is relayed through dis-i