[논문 리뷰] Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning

Hongjian Fang, Yi Zeng외 4명|arXiv (Cornell University)|2022. 07. 11.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 인지지능을 모방한 그래프 스파iking 신경망(KRR-GSNN)을 제안하며, 집단 코딩과 스파이크 시차 의존성 가소성(STDP)을 사용하여 공통 지식을 그래프로 표현하고 상징적 추론을 수행한다. 보상 조절 STDP(R-STDP)를 통합함으로써 강화학습을 구현하여 GCN과 유사한 정확도를 달성하면서도 수렴 속도가 빠르며, 추적 가능한 추론 경로를 통해 생물학적 타당성과 해석 가능성도 향상시킨다.

ABSTRACT

How neural networks in the human brain represent commonsense knowledge, and complete related reasoning tasks is an important research topic in neuroscience, cognitive science, psychology, and artificial intelligence. Although the traditional artificial neural network using fixed-length vectors to represent symbols has gained good performance in some specific tasks, it is still a black box that lacks interpretability, far from how humans perceive the world. Inspired by the grandmother-cell hypothesis in neuroscience, this work investigates how population encoding and spiking timing-dependent plasticity (STDP) mechanisms can be integrated into the learning of spiking neural networks, and how a population of neurons can represent a symbol via guiding the completion of sequential firing between different neuron populations. The neuron populations of different communities together constitute the entire commonsense knowledge graph, forming a giant graph spiking neural network. Moreover, we introduced the Reward-modulated spiking timing-dependent plasticity (R-STDP) mechanism to simulate the biological reinforcement learning process and completed the related reasoning tasks accordingly, achieving comparable accuracy and faster convergence speed than the graph convolutional artificial neural networks. For the fields of neuroscience and cognitive science, the work in this paper provided the foundation of computational modeling for further exploration of the way the human brain represents commonsense knowledge. For the field of artificial intelligence, this paper indicated the exploration direction for realizing a more robust and interpretable neural network by constructing a commonsense knowledge representation and reasoning spiking neural networks with solid biological plausibility.

연구 동기 및 목표

• 뇌과학 원리인 집단 코딩과 스파iking 동역학을 기반으로 공통 지식을 표현하는 생물학적으로 타당한 신경망 모델을 개발한다.
• 뉴런 집단 간의 동기화된 활성화 패턴으로 개념을 인코딩하여 스파이크 신경망에서 상징적 추론을 가능하게 한다.
• 스파iking 활동를 통한 추론 경로 추적을 통해 딥러닝의 블랙박스 성향을 줄이고 해석 가능성을 향상시킨다.
• 인간의 CA1 해마 영역에서 관찰된 14–15%의 억제성 뉴런 비율을 모티프로 삼아, 뉴런 집단 내 억제성 뉴런 비율이 추론 성능에 미치는 영향을 탐색한다.
• 유아 인지 발달과 관련된 인간 유사 지식 일반화를 모방하는 인과적 추론을 모델링하는 데 초점을 맞춘다.

제안 방법

• 모델는 할머니세포 가설에 기반해, 뉴런 집단이 공동으로 기호나 개념을 표현하는 집단 코딩을 사용한다.
• 사전 및 사후 스파이크 시점 간의 시차에 따라 시냅스 가중치를 학습하는 스파이크 시차 의존성 가소성(STDP)을 적용하여 관계의 시간적 코딩을 가능하게 한다.
• 보상 조절 STDP(R-STDP)를 도입하여 강화학습을 시뮬레이션하고, 네트워크가 정확한 추론 결과로 향하도록 유도한다.
• 공통 지식는 그래프 구조로 인코딩되며, 뉴런 집단이 개념을 나타내고 시냅스가 관계를 나타낸다.
• 네트워크 상태를 모니터링하고 해석 가능한 추론 경로를 추출하기 위해 유사도 함수를 사용하여 모델의 투명성을 향상시킨다.
• 하이퍼파라미터 조정을 통해 억제성 뉴런 비율을 최적화하면서, 자기지도 기반 강화학습을 통해 전이성 추론 작업을 훈련한다.

실험 결과

연구 질문

• RQ1 집단 코딩과 STDP 메커니즘을 갖춘 스파이크 신경망이 공통 지식 그래프를 효과적으로 표현하고 추론할 수 있는가?
• RQ2 뉴런 집단 내 억제성 뉴런 비율이 스파이크 네트워크에서 추론 작업의 정확도와 수렴 속도에 미치는 영향는 어떠한가?
• RQ3 그래프 구조를 가진 스파이크 네트워크에서 R-STDP가 기존 GCN과 유사한 정확도를 달성하면서도 더 빠른 수렴 속도를 보일 수 있는가?
• RQ4 모델는 기존의 지식 그래프에서 새로운 지식을 자동으로 생성함으로써 인과적 추론 능력을 보여주는가?
• RQ5 모델의 아키텍처와 동역학이 인간 뇌의 생물학적 원리, 특히 CA1 영역의 14–15% 억제성 뉴런 비율을 얼마나 잘 반영하는가?

주요 결과

• KRR-GSNN 모델는 전이성 추론 작업에서 GCN과 유사한 최종 정확도를 달성했지만, 수렴 속도가 현저히 빠르게 나타났다.
• 뉴런 집단 내 억제성 뉴런 비율을 약 15%로 설정했을 때, 동일한 훈련 반복 수에서 가장 높은 추론 정확도를 기록했다.
• 15%의 억제성 뉴런 비율은 인간의 CA1 해마 영역에서 관찰된 14–15%와 매우 유사하여, 모델의 하이퍼파라미터 설정이 생물학적으로 타당하다는 것을 시사한다.
• 모델는 인코딩된 지식 그래프에서 새로운 지식를 자동으로 생성함으로써 인과적 추론 능력을 보였으며, 인간 유사 학습 과정을 모델링할 잠재력을 보였다.
• 유사도 함수의 사용으로 추적 가능한 추론 경로를 확보하여 모델의 내부 논리가 해석 가능해졌으며, AI 윤리 및 안전 기준과도 더 잘 부합하는 결과를 이끌어냈다.
• 상징적 추론과 STDP 및 R-STDP와 같은 생물학적으로 영감을 받은 메커니즘을 통합함으로써, 인간 수준의 공통 지식 추론을 모델링할 수 있는 계산적으로 타당한 프레임워크를 제공한다.