[論文レビュー] Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning

Hongjian Fang, Yi Zeng+4 more|arXiv (Cornell University)|Jul 11, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、集団コード化とスパイク時刻依存可塑性（STDP）を用いて、共通知識をグラフとして表現し、記号的推論を実行する、脳にインspiredされたグラフスパイクニューラルネットワーク（KRR-GSNN）を提案する。報酬変調STDP（R-STDP）を統合することで強化学習が可能となり、GCNと同等の精度を達成しながら収束が速く、推論経路が追跡可能なため解釈性が高く、生物学的妥当性も高い。

ABSTRACT

How neural networks in the human brain represent commonsense knowledge, and complete related reasoning tasks is an important research topic in neuroscience, cognitive science, psychology, and artificial intelligence. Although the traditional artificial neural network using fixed-length vectors to represent symbols has gained good performance in some specific tasks, it is still a black box that lacks interpretability, far from how humans perceive the world. Inspired by the grandmother-cell hypothesis in neuroscience, this work investigates how population encoding and spiking timing-dependent plasticity (STDP) mechanisms can be integrated into the learning of spiking neural networks, and how a population of neurons can represent a symbol via guiding the completion of sequential firing between different neuron populations. The neuron populations of different communities together constitute the entire commonsense knowledge graph, forming a giant graph spiking neural network. Moreover, we introduced the Reward-modulated spiking timing-dependent plasticity (R-STDP) mechanism to simulate the biological reinforcement learning process and completed the related reasoning tasks accordingly, achieving comparable accuracy and faster convergence speed than the graph convolutional artificial neural networks. For the fields of neuroscience and cognitive science, the work in this paper provided the foundation of computational modeling for further exploration of the way the human brain represents commonsense knowledge. For the field of artificial intelligence, this paper indicated the exploration direction for realizing a more robust and interpretable neural network by constructing a commonsense knowledge representation and reasoning spiking neural networks with solid biological plausibility.

研究の動機と目的

• 神経科学の原則（集団コード化やスパイクダイナミクスなど）を用いて、生物学的に妥当なニューラルネットワークモデルを構築し、共通知識を表現すること。
• ニューロン集団内の同期した発火パターンとして概念を符号化することで、スパイクニューラルネットワークにおける記号的推論を可能にすること。
• スパイク活動による推論経路の追跡を可能にすることで、深層学習のブラックボックス性を軽減し、解釈性を向上させること。
• ヒトのCA1海馬領域に見られる14–15%の抑制性インターニューロンにインspiredして、抑制性ニューロンの割合が推論性能に与える影響を最適化すること。
• 乳児の認知発達に特に関連する人間らしい知識一般化を模倣するインダクティブ推論を、モデル化すること。

提案手法

• モデルは集団コード化を採用し、1つのシンボルや概念が複数のニューロンが共同で表現する。これはグランドマザー・セル仮説に基づく。
• スパイク時刻依存可塑性（STDP）を用いて、事前および事後のスパイク時刻に応じてシナプス重みを学習し、関係性の時間的符号化を可能にする。
• 報酬変調STDP（R-STDP）を導入し、強化学習を模倣することで、正しい推論結果に向かってネットワークを誘導する。
• 共通知識はグラフ構造として符号化され、ニューロン集団が概念を、シナプスが関係性を表す。
• ネットワーク状態を監視し、解釈可能な推論経路を抽出するために類似度関数を用いる。これによりモデルの透明性が向上する。
• ハイパーパラメータとして抑制性ニューロンの比率を最適化するため、自己教師あり強化学習を用いて推移性推論タスクで訓練する。

実験結果

リサーチクエスチョン

• RQ1 集団コード化とSTDP機構を有するスパイクニューラルネットワークは、共通知識グラフを効果的に表現・推論できるか？
• RQ2 ニューロン集団における抑制性ニューロンの割合が、スパイクネットワークにおける推論タスクの精度と収束速度に与える影響は何か？
• RQ3 グラフ構造を持つスパイクニューラルネットワークにR-STDPを適用することで、従来のGCNと同等の精度を達成し、収束を速められるか？
• RQ4 モデルは、既存の知識グラフから新しい知識を自発的に生成するようなインダクティブ推論能力を示すか？
• RQ5 モデルのアーキテクチャとダイナミクスは、ヒト脳の生物学的原則（特にCA1領域における14–15%の抑制性ニューロン比）をどの程度反映しているか？

主な発見

• KRR-GSNNモデルは、推移性推論タスクにおいてGCNと同等の最終的精度を達成したが、収束速度は著しく速かった。
• ニューロン集団における抑制性ニューロンの割合を約15%に設定した場合、同じ訓練イテレーション数において最も高い推論精度を達成した。
• 15%の抑制性ニューロン比は、ヒトのCA1海馬領域で観察された14–15%と非常に近く、モデルのハイパーパrameter選択の生物学的妥当性を示唆している。
• モデルは、符号化された知識グラフから自発的に正しい新しい知識を生成する能力を示し、人間らしい学習プロセスのモデル化の可能性を示した。
• 類似度関数の導入により、推論経路が追跡可能となり、モデルの内部論理が解釈可能かつAI倫理・セーフティ基準に適合したものとなった。
• 記号的推論とSTDPやR-STDPといった生物学的メカニズムを統合することで、人間水準の共通知識推論を計算的に妥当にモデル化するフレームワークが提供された。