[논문 리뷰] Learning and Inferring Relations in Cortical Networks

Peter U. Diehl, Matthew Cook|arXiv (Cornell University)|2016. 08. 29.

Neural dynamics and brain function참고 문헌 29인용 수 8

한 줄 요약

이 논문은 인과적 구조를 인식하고 추론할 수 있도록, 균일한 흥분성-억제성 뉴런 모듈에서 이방향, STDP 기반의 가소성(가소성)을 사용하는 생물학적으로 타당한 스파iking 신경망 모델을 제안한다. 이 네트워크는 인구 코드화된 입력으로부터 관계적 구조를 학습하고 추론할 수 있도록 자가조직화되어, 노이즈가 있는 신호 복원, 단서 통합, 전방향 추론 기능을 수행한다. 이는 동일한皮질 유사 아키텍처가 사전에 작업 특화된 연결을 갖추지 않더라도 복잡하고 다기능적인 계산을 지원할 수 있음을 보여준다.

ABSTRACT

A pressing scientific challenge is to understand how brains work. Of particular interest is the neocortex,the part of the brain that is especially large in humans, capable of handling a wide variety of tasks including visual, auditory, language, motor, and abstract processing. These functionalities are processed in different self-organized regions of the neocortical sheet, and yet the anatomical structure carrying out the processing is relatively uniform across the sheet. We are at a loss to explain, simulate, or understand such a multi-functional homogeneous sheet-like computational structure - we do not have computational models which work in this way. Here we present an important step towards developing such models: we show how uniform modules of excitatory and inhibitory neurons can be connected bidirectionally in a network that, when exposed to input in the form of population codes, learns the input encodings as well as the relationships between the inputs. STDP learning rules lead the modules to self-organize into a relational network, which is able to infer missing inputs,restore noisy signals, decide between conflicting inputs, and combine cues to improve estimates. These networks show that it is possible for a homogeneous network of spiking units to self-organize so as to provide meaningful processing of its inputs. If such networks can be scaled up, they could provide an initial computational model relevant to the large scale anatomy of the neocortex.

연구 동기 및 목표

• 생물학적으로 타당하고, 학습 및 추론에서 기능적 일반성까지 확장되는 neocortex의 계산 모델을 개발하는 것.
• 균일하고 동질적인 스파이킹 뉴런 네트워크가 어떻게 자가조직화되어 관계 추론을 수행할 수 있는지에 도전하는 문제를 해결하는 것.
• 동일한 신경 모듈 간의 이방향, 가소성 있는 연결이 사전에 아키텍처가 특화되지 않은 상태에서 복잡한 입력 관계를 학습하고 추론할 수 있도록 보장하는 것.
• 신호 복원, 단서 통합 등의 생물학적 제약 조건을 충족시키는지 모델을 검증하는 것.

제안 방법

• 1600개의 흥분성 및 400개의 억제성 누설 적분-화염 뉴런으로 구성된 동일한 모듈을 사용하며, 희박하고 가소성 있는 연결을 갖춘다.
• 스파이크 시퀀스 기반 가소성(STDP)는 흥분성 및 억제성 시냅스에 별도로 적용되며, 전위와 후위 자극의 스파이크에 따라 다른 학습 규칙을 적용한다.
• 학습 중에 가중치 분포를 안정적으로 유지하기 위해 이중 단계의 정규화 절차를 사용한다. 이는 입력 통계를 유지하는 데 기여한다.
• 입력은 포아송 분포의 스파이크 트레인을 사용한 비율 기반 인구 코드화 방식으로 표현되며, 가우시안 조절된 비율을 갖는다.
• 세 방향의 관계 아키텍처는 입력 인구(X, Y, Z)를 은닉 관계 인구(A, B, C, H)에 연결하여 이방향 추론을 가능하게 한다.
• 반복 노출을 통해 네트워크는 (X + Y - Z) mod NE = 0과 같은 관계를 학습하며, 어떤 변수가 누락되었는지에 관계없이 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 균일한 스파이킹 뉴런 네트워크가 인구 코드화된 입력으로부터 관계적 구조를 자가조직화하여 학습하고 추론할 수 있는가?
• RQ2 동질적인 네트워크 내에서 이방향, 가소성 있는 연결은 어떻게 안정적인 신호 복원과 단서 통합을 지원하는가?
• RQ3 반복적 네트워크에서 STDP 기반 학습이 관계의 어느 방향으로든 추론을 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ4 생물학적으로 타당한 조건 하에서 복잡한 다변수 관계를 학습하는 동안 이러한 네트워크는 안정적인 동역학을 유지할 수 있는가?

주요 결과

• 반복 노출을 통해 네트워크는 (X + Y - Z) mod NE = 0과 같은 관계 표현을 성공적으로 학습하고 유지한다.
• 학습 후, 네트워크는 32%의 입력 뉴런이 차단된 상태에서도 입력 패턴을 복원함으로써 누락되거나 노이즈가 있는 입력 성분을 복원한다.
• 네트워크는 효과적인 단서 통합을 수행하며, 다수의 입력을 조합하여 추정 정확도를 향상시킨다. 이는 생물학적 데이터와 일치한다.
• 시스템은 부드러운 워너-테이크올 다이내믹스를 보이며, 비정상적인 불규칙한 발화를 유지한다. 이는 생체 내皮질 활동과 유사하다.
• 추론은 전방향이다: 학습된 관계의 어떤 변수도 다른 변수들로부터 추론 가능하며, 체인 추론이 가능하다.
• 시냅스 가중치의 정규화는 네트워크의 안정성을 유지하고 학습 및 추론 단계에서 일관된 성능을 보장한다.