[論文レビュー] Evolving to learn: discovering interpretable plasticity rules for spiking networks

Jakob Jordan, Maximilian Schmidt+2 more|arXiv (Cornell University)|May 28, 2020

Advanced Memory and Neural Computing参考文献 81被引用数 5

ひとこと要約

本論文は、可視性のある合成シナプス可塑性ルールを、生物的制約のもとでタスク固有の性能を最大化するように進化的に最適化するメタ学習最適化問題として定式化することにより、スパikingニューラルネットワークのための自動的で進化的な可塑性ルール探索手法を提案する。遺伝的プログラミングを用いて、生物的制約を満たしつつタスク固有の性能を最大化するように記号的表現を進化させることで、報酬に基づく学習や誤差駆動型学習、および調整されたホームオスタシスを有するSTDPに類似したルールを含む、新たな機能的に同等の可塑性ルールを同定した。これらは生物学的に妥当で人間が理解可能な学習ルールであり、特定のタスクにおいて従来の手法を上回る性能を発揮する。

ABSTRACT

Continuous adaptation allows survival in an ever-changing world. Adjustments in the synaptic coupling strength between neurons are essential for this capability, setting us apart from simpler, hard-wired organisms. How these changes can be mathematically described at the phenomenological level, as so called "plasticity rules", is essential both for understanding biological information processing and for developing cognitively performant artificial systems. We suggest an automated approach for discovering biophysically plausible plasticity rules based on the definition of task families, associated performance measures and biophysical constraints. By evolving compact symbolic expressions we ensure the discovered plasticity rules are amenable to intuitive understanding, fundamental for successful communication and human-guided generalization. We successfully apply our approach to typical learning scenarios and discover previously unknown mechanisms for learning efficiently from rewards, recover efficient gradient-descent methods for learning from target signals, and uncover various functionally equivalent STDP-like rules with tuned homeostatic mechanisms.

研究の動機と目的

• 生物学的に妥当で、かつ効果的かつ解釈可能なシナプス可塑性ルールを発見する挑戦に応えること。
• 人間によるガイド付き探索に起因するバイアスを克服し、膨大な数の潜在的可塑性ルールの空間を自動的かつ偏りのない形で探索可能にする。
• タスクの種類、性能指標、および生物的制約を、発見プロセスに明示的に組み込む体系的な手法を開発すること。
• 直感的な理解や人間による一般化に適した、コンパクトで記号的な可塑性ルールを生成すること。
• 報酬ベース、誤差駆動型、相関に基づく学習のためのスパikingネットワークにおける、新たな機能的に同等の可塑性メカニズムを発見すること。

提案手法

• 遺伝的プログラミングを用いて、局所的ニューロン変数からシナプス感受性の変化を定義する記号的表現（関数）を進化させる。各個体は、候補となる可塑性ルール関数を表す。
• 報酬ベース、誤差駆動型、相関ベースの学習などのタスクの種類（タスクファミリー）を定義し、それらに応じた性能指標（例：平均報酬、誤差低減率）をフィットネス関数として設定する。
• スパイク時刻、神経調節物質、膜電位への依存性などの生物的制約をルール空間に組み込み、生物学的妥当性を保証する。
• 進化的アルゴリズムを用いて、突然変異と選択を繰り返し行い、ターゲットタスクで高いフィットネスを達成する個体を優遇する。
• 学習の安定化を図るため、重み更新にローパassingフィルタリングを適用し、生物学的時間的統合を模倣する。
• NESTを用いたスパキングニューロンネットワークのシミュレーションで、発見されたルールを検証し、漏れあり積分・放電モデルやポisson分布入力などの現実的な動的特性を再現する。

実験結果

リサーチクエスチョン

• RQ1 自動的で進化的な探索によって、既知のメカニズムを上回る性能を示す、新たな生物学的に妥当な可塑性ルールを発見できるか？
• RQ2 進化によって得られた可塑性ルールは、STDP や報酬に基づく可塑性といった標準的手法と比較して、どの程度の性能を達成できるか？
• RQ3 同じタスクに対して複数の機能的に同等の可塑性ルールが出現するか？また、それらは意味的に解釈可能か？
• RQ4 1つの明確な記号的表現に、ヘブ的要因とホームオスタシス的要因を統合した可塑性ルールを発見できるか？
• RQ5 誤差駆動型学習タスクに適用した場合、進化によって得られたルールは勾配ベースの学習手法と比較してどの程度の性能を示すか？

主な発見

• 本手法は、報酬信号からの効率的な学習を可能にする、新たな報酬に基づく可塑性ルールを成功裏に発見した。このルールは、指定されたタスクで高い平均報酬を達成した。
• 誤差駆動型学習において、進化によって得られた可塑性ルールは、理論的に最適な勾配降下法と同等の性能を達成した。これは、記号的可塑性ルールがバックプロパゲーションに類似した学習を近似可能であることを示している。
• 本手法は、調整されたホームオスタシス機構を有する複数の機能的に同等のSTDPに類似した可塑性ルールを同定した。相関がない状態でも非ゼロの項が存在し、それらは前シナプスまたは後シナプスに依存するホームオスタシス的レギュレーターとして機能していた。
• 発見されたルールはコンパクトで記号的であり、ブラックボックスの代替手法とは異なり、直感的な解釈や人間による分析が可能であった。
• 本手法は、報酬ベース、誤差駆動型、相関駆動型学習を含む複数のタスクファミリーにおいて、一貫した性能向上を示し、高いロバストネスを示した。
• 進化的プロセスは、以前に知られていなかった多様で非自明な解決策を明らかにした。これは、本手法が可塑性ルール空間の未開拓な領域を効果的に探索できることを示している。