[논문 리뷰] Cortical credit assignment by Hebbian, neuromodulatory and inhibitory plasticity

Johnatan Aljadeff, James A. D’amour외 3명|arXiv (Cornell University)|2019. 11. 01.

EEG and Brain-Computer Interfaces참고 문헌 81인용 수 11

한 줄 요약

이 논문은 헤브의 법칙, 아세틸콜린 의존성, 노르아드레날린 의존성, 그리고 억제성 플라스티시티를 조합하여 신경피질에서의 크레딧 할당 문제를 해결하는 생물학적으로 타당한 학습 메커니즘을 제안한다. 신경조절 물질 신호를 활용해 간접적으로 시냅스 변화를 유도하고, 억제성 플라스티시티를 통해 Excitatory/Inhibitory (E/I) 균형을 유지함으로써, 완전한 오차 신호가 없더라도 이론적 용량의 약 ~70%에 이르는 강건한 학습을 달성한다.

ABSTRACT

The cortex learns to make associations between stimuli and spiking activity which supports behaviour. It does this by adjusting synaptic weights. The complexity of these transformations implies that synapses have to change without access to the full error information, a problem typically referred to as "credit-assignment". However, it remains unknown how the cortex solves this problem. We propose that a combination of plasticity rules, 1) Hebbian, 2) acetylcholine-dependent and 3) noradrenaline-dependent excitatory plasticity, together with 4) inhibitory plasticity restoring E/I balance, effectively solves the credit assignment problem. We derive conditions under-which a neuron model can learn a number of associations approaching its theoretical capacity. We confirm our predictions regarding acetylcholine-dependent and inhibitory plasticity by reanalysing experimental data. Our work suggests that detailed cortical E/I balance reduces the dimensionality of the problem of associating inputs with outputs, thereby allowing imperfect "supervision" by neuromodulatory systems to guide learning effectively.

연구 동기 및 목표

• 전체 오차 신호가 가용하지 않을 때 신경피질이 시냅스에 크레딧을 어떻게 할당하는가를 다루는 것.
• 아세틸콜린과 노르아드레날린이 명시적인 오차 피드백이 없는 상황에서 어떻게 간접적으로 시냅스 플라스티시티를 유도할 수 있는지 조사하는 것.
• 학습 중 E/I 균형을 유지하는 데 억제성 플라스티시티가 수행하는 역할를 검토하는 것.
• 국소적이고 생물학적으로 타당한 플라스티시티 규칙을 사용하여 이론적 용량에 가까운 수준의 연상 학습이 가능한 조건을 유도하는 것.
• 실험 데이터 재분석을 통해 ACh 의존성 및 억제성 플라스티시티에 대한 예측을 검증하는 것.

제안 방법

• 헤브의 법칙, ACh 의존성, NE 의존성 플라스티시티 규칙을 통합한 생물학적으로 제약된 뉴런 모델을 개발한다.
• 전체 네트워크 모델에서 유도된 E/I 공간 내 학습 동역학의 단순화된 수학적 모델을 도입한다.
• 스피크 임계값에 가까운 영역으로 나누기 위해, 평균 시냅스 가중치 변화를 계산하기 위해 임계값을 초과하는 근사치를 적용한다.
• LTP와 LTD가 전조직 및 후조직 활동뿐만 아니라 ACh와 NE 존재 여부에 따라 제어되는 신경조절 물질 게이팅 플라스티시티 규칙을 적용한다.
• E/I 균형을 유지하기 위해 억제성 가중치를 조정하는 억제성 플라스티시티를 통합하여 크레딧 할당 문제의 차원을 감소시킨다.
• 강건한 학습 조건을 도출하기 위해 이론적 분석을 수행하며, 플라스티시티 매개변수 제약 조건과 E/I 균형 선의 오프셋을 포함한다.

실험 결과

연구 질문

• RQ1 헤브의 법칙, 신경조절 유도, 억제성 플라스티시티 규칙의 조합이 명시적인 오차 신호 없이도 효과적인 크레딧 할당을 가능하게 할 수 있는가?
• RQ2 E/I 균형 감소가 차원을 줄여주어 불완전한 신경조절 유도 supervision 하에서 학습 효과를 어떻게 향상시키는가?
• RQ3 로컬 플라스티시티 규칙을 사용하여 이론적 용량에 가까운 수준의 연상을 학습할 수 있는 조건은 무엇인가?
• RQ4 아세틸콜린과 노르아드레날린은 완전한 오차 피드백이 없는 상황에서 시냅스 가중치 동역학에 어떻게 영향을 미치는가?
• RQ5 실험 데이터에서 ACh 의존성 및 억제성 플라스티시티에 대한 관측 결과가 모델의 예측를 어느 정도 지지하는가?

주요 결과

• 모델은 간접적인 신경조절 유도 supervision 이나 있어도 이론적 최대 연상 수의 약 ~70%까지 강건한 학습을 달성한다.
• E/I 균형 선이 원점에서 옮겨져 있을 경우, 특히 ACh 의존성 LTD 편향 매개변수 β_A가 1을 초과할 경우 이중성 시냅스 가중치 분포가 나타나며, 이는 ACh 플라스티시티에서 억제 경향이 있음을 시사한다.
• 억제성 플라스티시티는 학습의 안정성과 E/I 균형 유지에 필수적이며, 특히 스파이크 임계값에서 멀리 떨어져 있는 E/I 균형 선이 교차할 경우 더욱 중요하다.
• 헤브의 법칙 학습률은 신중히 조절되어야 하며, 높은 값은 노이즈를 유발하고 신경조절 유도와 간섭함으로써 성능을 악화시킨다.
• 모델은 비쌍화된 입력에 대해 ACh 의존성 플라스티시티가 장기 억제(LTD) 경향을 보일 것임을 예측하며, 이는 실험 관측 결과와 일치한다.
• 실험 데이터 재분석 결과는 ACh 의존성 및 억제성 플라스티시티에 대한 모델의 예측를 지지하며, 제안된 메커니즘의 타당성을 검증한다.