[論文レビュー] Unsupervised learning and adaptation in a model of adult neurogenesis

Guillermo Cecchi, Leopoldo Petreanu+2 more|arXiv (Cornell University)|May 3, 2001

Neural Networks and Applications被引用数 12

ひとこと要約

本論文は、大人における神経新生によって、嗅球における教師なし学習と環境適応が生じることを示す計算モデルを提案する。新規の granule 細胞は一定の割合で組み込まれるが、機能的に有用な接続を形成しない限り生存しない。このモデルは、活動依存的生存が自然に mitral 細胞応答の直交化を引き起こし、教師あり学習やシナプス重みの調整なしに臭覚識別を向上させることを示している。

ABSTRACT

Adult neurogenesis has long been documented in the vertebrate brain, and recently even in humans. Although it has been conjectured for many years that its functional role is related to the renewing of memories, no clear mechanism as to how this can be achieved has been proposed. We present a scheme in which incorporation of new neurons proceeds at a constant rate, while their survival is activity-dependent and thus contingent upon new neurons establishing suitable connections. We show that a simple mathematical model following these rules organizes its activity so as to maximize the difference between its responses, and can adapt to changing environmental conditions in unsupervised fashion.

研究の動機と目的

• 大人の神経新生が神経回路における教師なし学習と適応をどのように支援するかのメカニズムを提示すること。
• 活動によって制御されるニューロンの生存が、シナプス可塑性を必要とせずに機能的ネットワーク組織を生じさせることを説明すること。
• 神経新生が変化する入力に応じて神経表現を最適化する計算的メカニズムとして機能しうるかを調査すること。
• 神経新生が破壊的であるにもかかわらず、高次元の感覚領域（例：嗅球）に限定して存在する理由を説明すること。
• 神経新生が、局所的最小値に陥りやすい高次元入力空間において、モンテカルロ法に類似したグローバル最適化戦略として機能するという仮説を検証すること。

提案手法

• 新しい granule 細胞が、制御されていない一定の割合で嗅球モデルに組み込まれる。
• ニューロンの生存は活動依存的アポトーシスによって決定され、機能的に関連する接続を形成した細胞のみが生存する。
• granular 細胞の接続の更新ルールは式2で記述される：ΔG_ij = γ⟨y_i y_j⟩、ここでγ = 5×10⁻³であり、平均は臭覚提示回数に基づく。
• 各臭覚に対する定常状態解が計算された後、ネットワークの応答は|y| = 1に正規化される。
• 出力応答の直交化は、出力行列O = {y^k}のランク1行列式Δ_Oを特異値分解を用いて評価することで定量される。
• シミュレーションには、非特異的死が存在しない決定的生存と、各イテレーションごとに確率p = 5×10⁻³で発生する確率的死の両方を含める。

実験結果

リサーチクエスチョン

• RQ1 大人の神経新生が、神経ネットワークにおける教師なし学習と適応を単独で駆動できるか？
• RQ2 活動依存的生存が、新しいニューロンによって感覚入力の表現がどのように改善されるか？
• RQ3 なぜ神経新生は嗅球のような高次元感覚領域にのみ観察されるのか？
• RQ4 従来のシナプス可塑性メカニズムと比較して、ニューロンの置換にはどのような機能的利点があるのか？
• RQ5 勾配ベースの最適化と比較して、神経新生のランダムかつグローバルな性質は、性能と耐障害性においてどのように異なるか？

主な発見

• モデルは、異なる臭覚に対する mitral 細胞応答の自発的直交化を達成し、ランク1行列式Δ_Oによって定量的に示され、神経表現の分離が向上していることが示された。
• granular 細胞の総数は時間経過とともに単調に増加し、直交化が安定した後には組み込み率が著しく低下する。
• 新しいニューロンの活動依存的生存は、教師あり学習を必要とせず、応答差を最大化する機能的ネットワーク組織を生じさせる。
• モデルは、臭覚集合に環境的変化が生じた際に、嗅球の特定領域へのニューロンの差別の組み込みを予測している。
• 非特異的背景死率が一定に保たれていることが、ネットワークの適応性を維持し、停滞を防ぐために不可欠である。
• このメカニズムはモンテカルロ最適化に類似しており、勾配ベースの手法が滑らかでない、またはトポグラフィーに従わない相関がある高次元入力空間では機能しないことから、神経新生が進化的に有利である可能性を示唆している。