[論文レビュー] Emergence of scale-free properties in Hebbian networks

Gábor Szirtes, Zsolt Palotai+1 more|ArXiv.org|Aug 11, 2003

Neural dynamics and brain function参考文献 30被引用数 4

ひとこと要約

この論文は、外部のランダムノイズにのみ駆動されるヘブニアンネットワークにおけるスパイク時刻依存シナプス可塑性（STDP）が、スケールフリーやスモールワールド構造を自発的に生成できることを示している。モデルであるHebbNetは、明示的な成長や再接続メカニズムがなくても、ノイズ誘発可塑性によって効率的で頑健なネットワークアーキテクチャへの自己組織化を可能にすることを示している。

ABSTRACT

The fundamental `plasticity' of the nervous system (i.e high adaptability at different structural levels) is primarily based on Hebbian learning mechanisms that modify the synaptic connections. The modifications rely on neural activity and assign a special dynamic behavior to the neural networks. Another striking feature of the nervous system is that spike based information transmission, which is supposed to be robust against noise, is noisy in itself: the variance of the spiking of the individual neurons is surprisingly large which may deteriorate the adequate functioning of the Hebbian mechanisms. In this paper we focus on networks in which Hebbian-like adaptation is induced only by external random noise and study spike-timing dependent synaptic plasticity. We show that such `HebbNets' are able to develop a broad range of network structures, including scale-free small-world networks. The development of such network structures may provide an explanation of the role of noise and its interplay with Hebbian plasticity. We also argue that this model can be seen as a unification of the famous Watts-Strogatz and preferential attachment models of small-world nets.

研究の動機と目的

• 外部のランダムノイズがヘブニアンニューラルネットワークにおける構造的自己組織化を引き起こすかどうかを調査すること。
• ノイズ条件下でのスパイク時刻依存可塑性（STDP）が、スケールフリーおよびスモールワールドネットワークトポロジーの出現をもたらすかどうかを特定すること。
• 明示的な成長や再接続ルールがなくても、ノイズが効率的で適応可能なネットワーク形成を可能にする役割を探索すること。
• 生物学的に現実的な学習メカニズムを通じて、優先的接続モデルとワッツ・ストロガッツモデルを統合すること。
• 多様な可塑性パラメータ下での出現ネットワーク構造の頑健性と安定性を評価すること。

提案手法

• N=200ノードの離散時間積分・放電ニューラルネットワークをシミュレートし、活動は重み付き入力和で進化する：$ \frac{\Delta a_i}{\Delta t} = \sum_j w_{ij}a_j^s + x_i^{(ext)} $。
• 時間依存カーネル $ K(t_j - t_i) $ を用いたSTDPルールを適用し、シナプス重みを更新する：$ \frac{\Delta w_{ij}}{\Delta t} = \sum_{(t_i,t_j)} K(t_j - t_i) a_i^{t_i,s} a_j^{t_j,s} $。
• 時間的・空間的相関のないランダムで構造のない外部入力を用い、ネットワーク活動を駆動する。
• 全般的な活動制約を導入して発火レートを正規化するが、シミュレーションでは結果にほとんど影響を及ぼさないことが判明。
• 時間依存的シナプス修飾をモデル化するため、LTP（長期増強）とLTD（長期減少）の領域が明確に分かれたカーネル関数を採用。
• 次数分布、クラスタリング係数、特徴的パス長を用いてネットワーク構造を分析し、スケールフリーおよびスモールワールド特性を同定。

実験結果

リサーチクエスチョン

• RQ1 外部のランダムノイズによって駆動されるヘブニアン学習が、スケールフリーおよびスモールワールドネットワーク構造の出現をもたらすか？
• RQ2 ノイズとSTDPの相互作用が、ニューラルネットワークにおける構造的自己組織化をどのように促進するか？
• RQ3 HebbNetモデルが、優先的接続モデルとワッツ・ストロガッツモデルの両方をどれほど統合できるか？
• RQ4 STDPカーネルにおける正領域と負領域の面積比（$ r_{A^+/A^-} $）が、ネットワークの安定性とトポロジーに果たす役割は何か？
• RQ5 ノイズは、神経ネットワークにおける最適な接続パターン探索のための連続的探索メカニズムとして機能できるか？

主な発見

• 外部のランダムノイズとSTDPによって駆動されるヘブニアンネットワークは、自発的にスケールフリー次数分布を発現し、パワーローの接続パターンを示す。
• 明示的な再接続や成長メカニズムがなくても、高いクラスタリング係数と短い特徴的パス長を示し、スモールワールド特性を有する。
• $ r_{A^+/A^-} $ の広い範囲においても出現ネットワーク構造が頑健であるため、パラメータ摂動に対して安定であることが示された。
• モデルは、連続的重み更新とノイズ駆動探索を組み合わせることで、優先的接続とワッツ・ストロガッツの両メカニズムを統合している。
• ノイズは連続的探索メカニズムとして機能し、ローカルミニマから脱出でき、動的で適応可能な接続パターンを維持可能である。
• LTP（相関パターンの学習）とLTD（弱いパターンの忘却）のバランスが取れており、安定でスパarsな効率的ネットワーク組織化が実現している。