[논문 리뷰] Computational models of long term plasticity and memory

Stefano Fusi|arXiv (Cornell University)|2017. 06. 15.

Neural dynamics and brain function참고 문헌 76인용 수 7

한 줄 요약

이 논문은 장기 시냅스 유연성과 기억의 계산 모델을 검토하며, 특히 역사에 의존하는 시냅스 동역학을 포함한 다양한 생물학적 메커니즘이 효율적이고 고용량의 기억 저장을 가능하게 한다고 강조한다. 복잡하고 다중 척도의 생화학적 상호작용을 포함하는 모델, 예를 들어 계단형 및 이중 상태 시냅스는 희박한 신경 표현과 상관 기반 재구성의 특성을 활용하여 최적의 기억 수명과 용량을 달성한다.

ABSTRACT

Memory is often defined as the mental capacity of retaining information about facts, events, procedures and more generally about any type of previous experience. Memories are remembered as long as they influence our thoughts, feelings, and behavior at the present time. Memory is also one of the fundamental components of learning, our ability to acquire any type of knowledge or skills. In the brain it is not easy to identify the physical substrate of memory. Basically, any long-lasting alteration of a biochemical process can be considered a form of memory, although some of these alterations last only a few milliseconds, and most of them, if taken individually, cannot influence our behavior. However, if we want to understand memory, we need to keep in mind that memory is not a unitary phenomenon, and it certainly involves several distinct mechanisms that operate at different spatial and temporal levels. One of the goals of theoretical neuroscience is to try to understand how these processes are orchestrated to store memories rapidly and preserve them over a lifetime. Theorists have mostly focused on synaptic plasticity, as it is one of the most studied memory mechanisms in experimental neuroscience and it is known to be highly effective in training artificial neural networks to perform real world tasks. Some of the synaptic plasticity models are purely phenomenological, some others have been designed to solve computational problems. In this article I will review some of these models and I will try to identify computational principles that underlie memory storage and preservation.

연구 동기 및 목표

• 생물학적 제약에도 불구하고 시냅스 유연성 메커니즘이 뇌가 일생 동안 기억을 저장하는 방식을 이해하기 위해.
• 실제 시냅스 동역학을 갖춘 신경망에서 효율적인 기억 저장 및 회수를 이끄는 계산 원리를 규명하기 위해.
• 시냅스 변수, 역사 의존성, 네트워크의 희박성 등 요소가 기억 용량과 안정성에 미치는 영향를 분석함으로써 이론적 모델과 생물학적 타당성을 연결하기 위해.
• 다양한 시간적·공간적 척도의 유연성 통합을 통합된 기억 저장 프레임워크로 구현하는 과제를 해결하기 위해.

제안 방법

• 퍼셉트론 알고리즘과 같은 추상적 학습 규칙을 분석하며, 이들이 지도 학습과 패턴 분류에서 수행하는 역할을 다룬다.
• 호프필드 모델, 이중 상태 시냅스, 계단형 모델 등 시냅스 유연성 모델을 검토하며, 그들의 기억 용량과 수명 비율에 중점을 둔다.
• 수학적 분석을 통해 희박한 신경 표현( f ≈ 활성 뉴런의 비율)에서 기억 용량과 안정성의 비율 법칙을 유도한다.
• 역사 의존성과 함께 시냅스 동역학을 이론적으로 모델링하며, 기억 안정성이 복잡한 생화학적 과정 간 상호작용에 의해 결정됨을 보여준다.
• 무한정, 이중 상태, 계단형, 이중 방향 계단형 등 다양한 시냅스 모델을 시냅스 변수의 동역학, 기억 수명, 정보 저장 용량 측면에서 비교한다.
• 계산 신경과학과 기계 학습의 통찰을 통합하여 생물학적으로 타당하면서도 계산적으로 강력한 모델을 제안한다.

실험 결과

연구 질문

• RQ1 시냅스 유연성 메커니즘은 일시적인 생화학적 변화가 존재하는 바이오로지컬 조건에서도 뇌가 장기 기억을 저장하는 데 어떻게 기여하는가?
• RQ2 신경망이 시간이 지남에 따라 안정성을 유지하면서도 고용량 기억을 달성할 수 있는 계산 원리는 무엇인가?
• RQ3 신경 활동의 희박성(f)은 시냅스 모델의 기억 수명과 총 정보 저장 용량에 어떤 영향을 미치는가?
• RQ4 시냅스 동역학의 역사 의존성은 기억 효율성을 어떻게 향상시키며 간섭을 방지하는가?
• RQ5 시냅스 유연성의 이론적 모델은 어떻게 생물학적으로 타당하면서도 복잡한 계산 문제를 효과적으로 해결할 수 있도록 만들 수 있는가?

주요 결과

• 계단형 모델과 이중 방향 계단형 모델은 기억 수명이 $N^2$ 비율로 증가하고 총 정보 저장 용량이 $N$ 비트에 도달하며, 최적의 성능을 보이기 위해 최소한의 희박성 $f \sim 1/N$ 조건이 필요하다.
• 느린 감퇴($\sim f$)와 빠른 강화($\sim 1$)를 가지는 이중 상태 시냅스는 기억 수명이 $N$ 수준이며 총 정보 저장 용량이 $\sqrt{N}$ 수준에 도달하며, 이는 시냅스 동역학의 특성에 따라 달라진다.
• 복잡한 생화학적 상호작용에서 기인하는 역사 의존성 시냅스 모델은 단순하고 기억이 없는 모델보다 더 효율적인 기억 저장을 가능하게 한다.
• 이론적 모델은 기억 용량이 기억 간 상관관계를 활용할 때 최대가 되며, 정보의 압축 불가능한 희박한 성분만 저장함으로써 최적화됨을 보여준다.
• 무한정 시냅스 모델(Тсодыкс 및 Фейгель’ман, 1988)은 안정 상태가 없어 초기 신호 대 잡음 비율을 기록하지 않지만 여전히 고용량 기억을 지원한다.
• 이중 방향 계단형 모델은 기억 수명이 $\sim N^2$ 비율로 증가하고 총 정보 용량이 $\sim N$ 수준에 도달하며, 기억 수명이 $1/\sqrt{t}$ 비율로 감소함을 보여, 시간에 따른 감쇠에 대해 뛰어난 내구성을 지닌다.