[論文レビュー] Evolutionary Neural Gas (ENG): A Model of Self Organizing Network from Input Categorization

Ignazio Licata, Luigi Di Lella|arXiv (Cornell University)|Apr 4, 2007

Neural dynamics and brain function参考文献 26被引用数 5

ひとこと要約

本論文では、エコシステム内の集団としてノードを扱うことで、トポロジー的制約なしに進化する自己組織的ニューラルネットワークモデル、進化的ニューラルガス（ENG）を提案する。局所的な歪みとネットワークサイズに基づく確率的学習ルールを用いることで、スケールフリー構造の出現と物理的に根拠のある「気体」的ダイナミクスを実現し、ノイズや曖昧な入力に対しても適応的応答が可能となる。

ABSTRACT

Despite their claimed biological plausibility, most self organizing networks have strict topological constraints and consequently they cannot take into account a wide range of external stimuli. Furthermore their evolution is conditioned by deterministic laws which often are not correlated with the structural parameters and the global status of the network, as it should happen in a real biological system. In nature the environmental inputs are noise affected and fuzzy. Which thing sets the problem to investigate the possibility of emergent behaviour in a not strictly constrained net and subjected to different inputs. It is here presented a new model of Evolutionary Neural Gas (ENG) with any topological constraints, trained by probabilistic laws depending on the local distortion errors and the network dimension. The network is considered as a population of nodes that coexist in an ecosystem sharing local and global resources. Those particular features allow the network to quickly adapt to the environment, according to its dimensions. The ENG model analysis shows that the net evolves as a scale-free graph, and justifies in a deeply physical sense- the term gas here used.

研究の動機と目的

• 固定トポロジーに縛られない自己組織的ニューラルネットワークモデルの開発を目的とし、多様な環境的入力への高い適応性を実現すること。
• 従来の自己組織的マップにおける決定的更新ルールの限界を克服し、確率的学習メカニズムを導入すること。
• ノードのダイナミクスが局所的歪みとグローバルなネットワーク状態に依存する生物学的に妥当なネットワーク進化のモデル化。
• ノイズのある入力条件下で、分散型でリソースを共有するノード相互作用から、自己組織的ネットワーク構造がどのように出現するかを調査すること。
• 物理的およびトポロジカル解析を通じて、「気体」という用語の使用を正当化すること。

提案手法

• ネットワークは、エコシステムに共存するノードの集団としてモデル化され、局所的およびグローバルなリソースを共有することで、生物学的競争と協力を模倣する。
• ノードの更新は、局所的歪み誤差と現在のネットワーク次元に依存する確率的法則によって支配され、厳密なトポロジー則なしに適応的学習が可能となる。
• モデルは、ノードの挿入と調整がネットワークの構造的状態と入力分布に影響を受ける動的かつ非決定的学習プロセスを採用する。
• 繰り返しの入力分類を通じてシステムが進化し、ノードは誤差最小化と確率的選択メカニズムに基づいて位置を調整する。
• トポロジー的進化はグラフ理論的指標を用いて分析され、ネットワーク構造にスケールフリー特性の出現が明らかになった。
• ネットワークの動的で流動的な挙動と固定接続パターンの欠如を解析することで、「気体」という用語の物理的妥当性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 固定トポロジーに制約されない自己組織的ニューラルネットワークが、構造的整合性を保ちながら進化できるか？
• RQ2 局所的歪みとネットワークサイズに基づく確率的学習ルールが、複雑なネットワークトポロジーの出現に与える影響は何か？
• RQ3 ダイナミクスおよび構造的特性の観点から、ネットワークの挙動は物理的気体系とどの程度類似しているか？
• RQ4 ノイズや曖昧な環境的入力に対し、モデルは生物的システムと同様に効果的に適応できるか？
• RQ5 進化過程において、ネットワークにどのような物理的およびトポロジカル特性が出現するか？

主な発見

• ENGモデルは、スケールフリー構造に進化し、べき乗則に従う次数分布を示すことで、強靭性と適応性を示している。
• 固定接続の欠如とノード相互作用の流動的かつ確率的性質により、ネットワークは気体に類似たダイナミクスを示す。
• 生物学的エコシステムを模倣する分散型リソース共有メカニズムにより、環境的入力に効果的に適応する。
• 局所的歪みとネットワークサイズに基づく確率的学習ルールにより、トポロジー的制約なしに効率的かつ柔軟な自己組織化が可能となる。
• 出現するネットワーク構造は事前に定義されておらず、局所的相互作用とグローバルフィードバックから生じるため、「気体」という用語は物理的に意味を持つ。
• ノイズのある入力条件下でも、モデルは強靭性と適応性を示し、ニューラルネットワーク進化における生物学的妥当性と整合的である。