[論文レビュー] Network of Evolvable Neural Units: Evolving to Learn at a Synaptic Level

Paul Bertens, Seong-Whan Lee|arXiv (Cornell University)|Dec 16, 2019

Advanced Memory and Neural Computing参考文献 42被引用数 4

ひとこと要約

本稿では、ニューロンとシナプスが独立して進化する新たなニューラルネットワークアーキテクチャとして、学習をシナプスレベルで行える「進化可能なニューロンユニット（ENUs）」を提案する。進化計算を用いて動的でマルチチャネルのシナプスおよびセルソーマ的コンpartmentsを最適化することで、積分・発火ダイナミクスとスパイクタイミング依存可塑性（STDP）を学習し、誤差逆伝播法や固定された学習ルールを必要とせずにTミゼンタスクにおけるワンショット強化学習を実現する。

ABSTRACT

Although Deep Neural Networks have seen great success in recent years through various changes in overall architectures and optimization strategies, their fundamental underlying design remains largely unchanged. Computational neuroscience on the other hand provides more biologically realistic models of neural processing mechanisms, but they are still high level abstractions of the actual experimentally observed behaviour. Here a model is proposed that bridges Neuroscience, Machine Learning and Evolutionary Algorithms to evolve individual soma and synaptic compartment models of neurons in a scalable manner. Instead of attempting to manually derive models for all the observed complexity and diversity in neural processing, we propose an Evolvable Neural Unit (ENU) that can approximate the function of each individual neuron and synapse. We demonstrate that this type of unit can be evolved to mimic Integrate-And-Fire neurons and synaptic Spike-Timing-Dependent Plasticity. Additionally, by constructing a new type of neural network where each synapse and neuron is such an evolvable neural unit, we show it is possible to evolve an agent capable of learning to solve a T-maze environment task. This network independently discovers spiking dynamics and reinforcement type learning rules, opening up a new path towards biologically inspired artificial intelligence.

研究の動機と目的

• 計算神経科学、機械学習、進化計算を統合し、生物学的に妥当で学習可能なニューラルコンポonentを構築すること。
• 固定重みの深層ニューラルネットワークや静的学習ルールの限界を克服し、動的で多パラメータのシナプスおよびニューロンコンパートメントを進化させること。
• 進化可能なユニットのネットワークが、進化的最適化を通じてスパikingダイナミクスと強化学習メカニズムを自律的になぞり出すことができるかを示すこと。
• 局所的な報酬信号に基づく適応的シナプス更新ルールを進化させることで、強化学習環境におけるワンショット学習を可能にすること。
• 局所的で分散型の学習を持つユニットのネットワークから、記憶や回避行動といった複雑な神経的行動が出現するかどうかを検討すること。

提案手法

• 各ニューロンとシナプスは、動的内部パラメータを有する自己完結型の計算ユニットとして、進化可能なニューロンユニット（ENU）としてモデル化される。
• ENUsは、Tミゼンタスクにおける報酬（フィットネス）に基づいて、内部状態遷移およびシナプス更新ルールを最適化する遺伝的アルゴリズムによって進化する。
• シナプス的ENUは、固定乗算ではなく、マルチチャネルの動的演算を介して前シナプスニューロンからの入力を処理するため、柔軟な情報変換が可能である。
• ニューロン的ENUは、発火および抑制行動を両方進化可能にする動的閾値メカニズムを用いて入力を統合する。
• ネットワークは、Tミゼン環境における累積報酬に基づくフィットネス関数を用いる。この環境では、エージェントが色と食物または毒の関連付けを学習しなければならない。
• 各世代の開始時に、各ENU内のパラメータベクトルがリセットされ、従来の誤差逆伝播法とは明確に異なる「学びの学び」の行動を実現する。

実験結果

リサーチクエスチョン

• RQ1 独立して進化されたニューロンおよびシナプスユニットのネットワークは、積分・発火行動を模倣する生物学的スパikingダイナミクスを学習できるか？
• RQ2 同じフレームワークが、進化的最適化を通じてスパイクタイミング依存可塑性（STDP）のようなシナプス可塑性ルールを進化させられるか？
• RQ3 ENUsのネットワークは、誤差逆伝播法を用いずに、局所的で分散型の学習により強化学習タスク（例：Tミゼン）を学習できるか？
• RQ4 進化したシステムは、報酬結果を一度経験しただけで行動を適応させるワンショット学習を示すか？
• RQ5 ENUsにおけるマルチチャネルの動的パラメータの使用は、固定重みネットワークよりも柔軟で生物学的に妥当な情報処理を可能にするか？

主な発見

• 進化可能なニューロンユニット（ENU）は、段階的 summed入力とスパイク生成を含む、積分・発火ニューロンのダイナミクスを正確に再現した。
• モデルは、前シナプスおよび後シナプスのスパイクタイミングに基づいてシナプス重みを更新する、機能的なスパイクタイミング依存可塑性（STDP）を進化させた。
• Tミゼン環境では、進化したネットワークが、特定の色と食物または毒の関連付けを学習し、それに応じて行動を変更することで強化学習を達成した。
• システムはワンショット学習を示し、報酬結果を一度経験しただけで持続的な行動適応が行われた。これは、通常の深層学習モデルが数百万回の試行を必要とするのとは対照的である。
• 進化したネットワークは、以前に報酬されたが有害な行動（例：毒を食べる）を抑制する抑制的シナプスメカニズムを獲得し、適応的行動制御を示した。
• マルチチャネルの動的パラメータの使用により、単純な重み乗算をはるかに超える複雑で非線形なシナプス演算が進化可能となり、より豊かな情報処理を可能にした。