[논문 리뷰] Synaptic Weight Distributions Depend on the Geometry of Plasticity

Roman Pogodin, Jonathan Cornford외 4명|arXiv (Cornell University)|2023. 05. 30.

Neuroscience and Neuropharmacology ResearchNeuroscience인용 수 3

한 줄 요약

이 논문은 뇌의 시냅스 가중치 분포가 손실 함수 외에도 가소성의 기하학적 구조에 의해 결정됨을 보여준다. 미러 강하 이론을 통해 로그노멀 분포가 비유클리드 시냅스 기하학을 암시함을 밝혀내며, 신경과학 모델에서 일반적으로 사용되는 유클리드 기하학 기반 경사하강법의 가정에 도전한다.

ABSTRACT

A growing literature in computational neuroscience leverages gradient descent and learning algorithms that approximate it to study synaptic plasticity in the brain. However, the vast majority of this work ignores a critical underlying assumption: the choice of distance for synaptic changes - i.e. the geometry of synaptic plasticity. Gradient descent assumes that the distance is Euclidean, but many other distances are possible, and there is no reason that biology necessarily uses Euclidean geometry. Here, using the theoretical tools provided by mirror descent, we show that the distribution of synaptic weights will depend on the geometry of synaptic plasticity. We use these results to show that experimentally-observed log-normal weight distributions found in several brain areas are not consistent with standard gradient descent (i.e. a Euclidean geometry), but rather with non-Euclidean distances. Finally, we show that it should be possible to experimentally test for different synaptic geometries by comparing synaptic weight distributions before and after learning. Overall, our work shows that the current paradigm in theoretical work on synaptic plasticity that assumes Euclidean synaptic geometry may be misguided and that it should be possible to experimentally determine the true geometry of synaptic plasticity in the brain.

연구 동기 및 목표

• 계산 신경과학에서 널리 퍼져 있는 가정인 시냅스 가소성이 가중치 공간에서 유클리드 기하학(즉, L2-노름 거리)을 사용한다는 것을 도전하기 위해.
• 특히 로그노멀 분포로 관측된 실험적 시냅스 가중치 분포가 유클리드 기하학 하에서 표준 경사하강법과 일치하는지 조사하기 위해.
• 시냅스 기하학과 결과적으로 유도되는 시냅스 가중치 분포 간의 관계를 설명하는 이론적 프레임워크를 개발하기 위해.
• 학습 전후의 시냅스 가중치 분포를 비교하여 후보 시냅스 기하학을 실험적으로 검증할 수 있는 방법을 제공하기 위해.
• 비유클리드 기하학(예: 음의 엔트로피 또는 p-노름에 의해 유도되는 기하학)이 유클리드 기하학보다 실험 데이터와 더 잘 일치함을 보여주기 위해.

제안 방법

• 손실 함수와 무관하게 시냅스 기하학을 정의하는 산란(예: 쿨백-라이블러 산란, 음의 엔트로피, p-노름)을 선택함으로써 시냅스 가소성을 모델링하기 위해 미러 강하 이론을 적용한다.
• 어떤 손실 함수이든 간에 약한 가정 하에 이중 공간에서 총 시냅스 가중치 변화가 근사적으로 정규분포를 이룬다는 것을 도출한다.
• 이 이중성 관계를 통해 원래 공간에서의 시냅스 가중치 분포가 로그노멀일 경우, 이는 이중 공간에서의 비유클리드 기하학에 기인해야 한다는 것을 보여준다.
• 다양한 p-노름과 음의 엔트로피를 사용한 딥 네트워크 학습을 통해 프레임워크를 실증적으로 검증하며, 다양한 기하학 하에서의 가중치 변화 크기를 관측한다.
• 모델 예측을 [34]에서 얻은 스파인 부피 측정 데이터와 비교하여 이중 공간에서 혼합 모델을 피팅함으로써 관측된 로그노멀 분포와 일치시킨다.
• 실험적 검증을 제안: 학습 전후의 시냅스 가중치 분포를 비교하여 예측된 분포 결과에 기반해 후보 기하학을 배제할 수 있다.

실험 결과

연구 질문

• RQ1 뇌에서 관측된 시냅스 가중치의 로그노멀 분포는 시냅스 가소성의 비유클리드 기하학을 암시하는가?
• RQ2 손실 함수에 영향을 받지 않고 시냅스 가중치 분포로부터 시냅스 가소성의 기하학을 추론할 수 있는가?
• RQ3 표준 경사하강법과 유클리드 기하학은 실험적으로 관측된 시냅스 가중치 분포와 일치하는가?
• RQ4 학습 전후의 시냅스 가중치 분포를 비교함으로써 시냅스 기하학을 실험적으로 검증할 수 있는가?
• RQ5 비유클리드 시냅스 기하학은 뇌의 학습 및 가소성 모델에 어떤 영향을 미치는가?

주요 결과

• 피어싱 및 해마 영역에서 흔히 관측되는 로그노멀 시냅스 가중치 분포는 표준 유클리드 기하학 하에서의 경사하강법과 일치하지 않는다.
• 손실 함수를 일정하게 유지하더라도, 미러 강하 이론을 통해 시냅스 가중치 분포가 가시적 기하학에 따라 달라짐을 보여준다.
• 모든 유효한 기하학 하에서 이중 공간의 시냅스 변화는 근사적으로 정규분포를 이룬다. 이와 실험적으로 관측된 분포를 일치시키면 진정한 기하학을 특정할 수 있다.
• 음의 엔트로피 및 p-노름 기하학(예: 3-노름)은 실험적으로 관측된 로그노멀 및 혼합 분포를 재현할 수 있다.
• 학습된 딥 네트워크에서의 가중치 변화는 일반적으로 크기가 0.2 이하였으며, 음의 엔트로피 변화는 0.02 이하로 유지되어 소규모 변화 근사의 타당성을 뒷받침한다.
• 이 프레임워크는 실험적 예측을 가능하게 하며, 학습 전후의 시냅스 가중치 분포를 비교함으로써 후보 기하학을 배제할 수 있어 향후 신경과학 연구에 검증 가능한 가설을 제공한다.