[論文レビュー] Learning and Inferring Relations in Cortical Networks

Peter U. Diehl, Matthew Cook|arXiv (Cornell University)|Aug 29, 2016

Neural dynamics and brain function参考文献 29被引用数 8

ひとこと要約

この論文は、均一な興奮性・抑制性ニューロンモジュールにおいて、双方向的でSTDPに基づく可塑性を用いる生物学的に妥当なスパイクニューラルネットワークモデルを提案する。このネットワークは、集団符号化された入力を用いて関係構造を学習・推論可能であり、自己組織的に関係推論システムへと進化する。ノイズの多い信号の回復、キューの統合、全方向への推論が可能であり、事前にタスク固有の配線を定義しない均一な皮質様アーキテクチャが、複雑で多機能な計算を実現できることを示している。

ABSTRACT

A pressing scientific challenge is to understand how brains work. Of particular interest is the neocortex,the part of the brain that is especially large in humans, capable of handling a wide variety of tasks including visual, auditory, language, motor, and abstract processing. These functionalities are processed in different self-organized regions of the neocortical sheet, and yet the anatomical structure carrying out the processing is relatively uniform across the sheet. We are at a loss to explain, simulate, or understand such a multi-functional homogeneous sheet-like computational structure - we do not have computational models which work in this way. Here we present an important step towards developing such models: we show how uniform modules of excitatory and inhibitory neurons can be connected bidirectionally in a network that, when exposed to input in the form of population codes, learns the input encodings as well as the relationships between the inputs. STDP learning rules lead the modules to self-organize into a relational network, which is able to infer missing inputs,restore noisy signals, decide between conflicting inputs, and combine cues to improve estimates. These networks show that it is possible for a homogeneous network of spiking units to self-organize so as to provide meaningful processing of its inputs. If such networks can be scaled up, they could provide an initial computational model relevant to the large scale anatomy of the neocortex.

研究の動機と目的

• 生物学的妥当性と学習・推論における機能的汎用性を両立する新皮質の計算モデルを開発すること。
• 均一で均質なスパイクニューロンネットワークが、どのように自己組織化して関係推論を実行できるかという課題に取り組むこと。
• 同一の神経モジュール間の双方向的かつ可塑性のある結合が、事前にアーキテクチャを特化させることなく、複雑な入力関係を学習・推論できることを示すこと。
• レート符号化、信号の回復、キュー統合といった生物学的制約を満たすか、モデルを検証すること。

提案手法

• 1600個の興奮性および400個の抑制性の漏れ積分・放電型ニューロンからなる同一のモジュールを用い、スパarsな可塑性結合を有する。
• スパイク時刻依存可塑性（STDP）を、興奮性および抑制性シナプスに別々に適用し、前駆動および後駆動スパイクに対して異なる学習則を用いる。
• 学習中に安定した重み分布を維持する二段階の正規化手順を実施し、入力統計を保存する。
• 入力は、ガウス型チューニングされたレートを有するポアソン分布のスパイクトレインを用いたレートベースの集団符号化により符号化される。
• 三路関係アーキテクチャにより、入力集団（X, Y, Z）と隠れ関係集団（A, B, C, H）を接続し、双方向推論を可能にする。
• 繰り返しの露出を通じて、(X + Y - Z) mod NE = 0 などの関係を学習し、欠損変数からも推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 均一なスパイクニューロンネットワークが、集団符号化された入力から関係構造を自己組織的に学習・推論できるか？
• RQ2 均質なネットワークにおける双方向的かつ可塑性のある結合は、どのように信頼性の高い信号回復とキュー統合を実現できるか？
• RQ3 再帰的ネットワークにおけるSTDPに基づく学習が、前方処理にとどまらず、関係の任意の方向への推論をどの程度可能にするか？
• RQ4 生物学的妥当な制約のもとで、複雑で多変数の関係を学習しながら、ネットワークの安定したダイナミクスを維持できるか？

主な発見

• 繰り返しの露出により、ネットワークは (X + Y - Z) mod NE = 0 といった関係符号化を効果的に学習・維持する。
• 学習後、32%の入力ニューロンを無効化した状態でも、入力パターンの回復が示され、欠損またはノイズの多い入力部品の回復が可能である。
• ネットワークは効果的なキュー統合を実行し、複数の入力を統合して推定精度を向上させる。これは生物学的データと整合的である。
• システムはソフトなウィナー・トゥク・アール（WTA）ダイナミクスを示し、非同期不規則な放電を維持しており、生体内皮質活動と一致する。
• 推論は全方向的である：学習済み関係の任意の変数が、他の変数から推論可能であり、チェーン推論が可能である。
• シナプス重みの正規化により、ネットワークの安定性が保たれ、学習段階と推論段階で一貫したパフォーマンスが確保される。