[논문 리뷰] Emergence of scale-free properties in Hebbian networks

Gábor Szirtes, Zsolt Palotai외 1명|ArXiv.org|2003. 08. 11.

Neural dynamics and brain function참고 문헌 30인용 수 4

한 줄 요약

이 논문은 외부 랜덤 노이즈만으로 구동되는 허브형 네트워크에서 스파ike 타이밍 의존성 시냅스 가소성(STDP)이 스케일프리 및 스몰월드 네트워크 구조를 자발적으로 생성할 수 있음을 보여준다. HebbNet으로 명명된 이 모델은 노이즈 유도 가소성이 명시적 성장 또는 재연결 메커니즘 없이도 효율적이고 강건한 네트워크 아키텍처로 자가조직화되게 한다.

ABSTRACT

The fundamental `plasticity' of the nervous system (i.e high adaptability at different structural levels) is primarily based on Hebbian learning mechanisms that modify the synaptic connections. The modifications rely on neural activity and assign a special dynamic behavior to the neural networks. Another striking feature of the nervous system is that spike based information transmission, which is supposed to be robust against noise, is noisy in itself: the variance of the spiking of the individual neurons is surprisingly large which may deteriorate the adequate functioning of the Hebbian mechanisms. In this paper we focus on networks in which Hebbian-like adaptation is induced only by external random noise and study spike-timing dependent synaptic plasticity. We show that such `HebbNets' are able to develop a broad range of network structures, including scale-free small-world networks. The development of such network structures may provide an explanation of the role of noise and its interplay with Hebbian plasticity. We also argue that this model can be seen as a unification of the famous Watts-Strogatz and preferential attachment models of small-world nets.

연구 동기 및 목표

• 외부 랜덤 노이즈가 허브형 신경망의 구조적 자가조직화를 이끌 수 있는지 조사하기 위해.
• 노이즈 조건 하에서 스파이크 타이밍 의존성 가소성(STDP)이 스케일프리 및 스몰월드 네트워크 구조를 유도할 수 있는지 확인하기 위해.
• 명시적 성장 또는 재연결 규칙 없이도 효율적이고 적응 가능한 네트워크 형성에 노이즈가 어떤 역할을 하는지 탐색하기 위해.
• 생물학적으로 타당한 학습 메커니즘을 통해 선호적 첨부 및 워츠-스트로가츠 모델을 통합하기 위해.
• 다양한 가소성 파라미터에서 유도된 네트워크 구조의 강건성과 안정성 평가하기 위해.

제안 방법

• N=200개의 노드를 갖는 이산 시간 적분-화염 신경망을 시뮬레이션하며, 활동은 가중치 입력 합산을 통해 진화한다: $ \frac{\Delta a_i}{\Delta t} = \sum_j w_{ij}a_j^s + x_i^{(ext)} $.
• 시간에 따라 변하는 커널 $ K(t_j - t_i) $ 를 사용해 시냅스 가중치를 업데이트하는 STDP 규칙을 적용한다: $ \frac{\Delta w_{ij}}{\Delta t} = \sum_{(t_i,t_j)} K(t_j - t_i) a_i^{t_i,s} a_j^{t_j,s} $.
• 시간적 또는 공간적 상관관계가 없는 무구조적 외부 입력(노이즈)을 사용해 네트워크 활동를 유도한다.
• 전반적인 활동 제약 조건을 도입해 발화율을 정규화하지만, 시뮬레이션 결과에 미치는 영향은 미미하다.
• 시간에 따라 가소성이 변화하는 수정을 모델링하기 위해 양(양성, LTP)과 음(음성, LTD) 영역이 뚜렷한 커널 함수를 사용한다.
• 도수 분포, 군집 계수, 특성 경로 길이를 분석해 스케일프리 및 스몰월드 성질을 식별하기 위해 네트워크 구조를 분석한다.

실험 결과

연구 질문

• RQ1 순수하게 랜덤 노이즈에 의해 구동되는 허브형 학습이 스케일프리 및 스몰월드 네트워크 구조의 유도를 이끌 수 있는가?
• RQ2 노이즈와 STDP 간의 상호작용이 신경망의 구조적 자가조직화를 어떻게 촉진하는가?
• RQ3 HebbNet 모델이 선호적 첨부 및 워츠-스트로가츠 모델의 네트워크 형성 방식을 어느 정도 통합할 수 있는가?
• RQ4 STDP 커널의 양성 영역과 음성 영역 비율($ r_{A^+/A^-} $)이 네트워크 안정성과 구조에 어떤 역할을 하는가?
• RQ5 노이즈가 신경망의 최적 연결 패턴을 탐색하는 연속적인 검색 기제로 기능할 수 있는가?

주요 결과

• 외부 랜덤 노이즈와 STDP에 의해 구동되는 허브형 네트워크는 자발적으로 스케일프리 도수 분포를 형성하여, 파워 라이드 연결 패턴을 나타낸다.
• 명시적 재연결 또는 성장 메커니즘이 없음에도 불구하고 네트워크는 높은 군집성과 짧은 특성 경로 길이를 보이며 스몰월드 성질을 나타낸다.
• 유도된 네트워크 구조는 $ r_{A^+/A^-} $ 값의 광범위한 범위에서 강건하여, 파라미터 변동에 대한 안정성을 보여준다.
• 모델은 연속적인 가중치 업데이트와 노이즈 기반 탐색을 결합함으로써 선호적 첨부와 워츠-스트로가츠 메커니즘을 통합한다.
• 노이즈는 연속적인 검색 기제로 작용하여 네트워크가 국소 최소값에서 벗어나 동적이고 적응 가능한 연결 패턴을 유지하도록 한다.
• 시스템은 LTP(상관된 패턴 학습)와 LTD(약한 패턴 망각) 간의 균형을 유지하여 안정적이고 희박하며 효율적인 네트워크 조직을 가능하게 한다.