[논문 리뷰] The Tensor Brain: Semantic Decoding for Perception and Memory

Volker Tresp, Sahand Sharifzadeh외 2명|arXiv (Cornell University)|2020. 01. 29.

Neural dynamics and brain function참고 문헌 124인용 수 5

한 줄 요약

이 논문은 인간의 뇌를 텐서 기반 수학 모델로 제안하며, 인지 및 기억을 주어진-동사-목적어(SPO) 삼중항을 사용한 의미 해독 과정으로 프레임워크화한다. 감각 기억, 블랙보드 표현, 인덱스 계층, 작업 기억으로 구성된 네 계층의 의미 해독기 모델을 도입하여 지식 그래프 벤치마크 과제에서 최고 성능을 보이며, 뇌 기능과 지식 그래프, 베이지안 추론 간의 연결을 제시한다.

ABSTRACT

We analyse perception and memory, using mathematical models for knowledge graphs and tensors, to gain insights into the corresponding functionalities of the human mind. Our discussion is based on the concept of propositional sentences consisting of extit{subject-predicate-object} (SPO) triples for expressing elementary facts. SPO sentences are the basis for most natural languages but might also be important for explicit perception and declarative memories, as well as intra-brain communication and the ability to argue and reason. A set of SPO sentences can be described as a knowledge graph, which can be transformed into an adjacency tensor. We introduce tensor models, where concepts have dual representations as indices and associated embeddings, two constructs we believe are essential for the understanding of implicit and explicit perception and memory in the brain. We argue that a biological realization of perception and memory imposes constraints on information processing. In particular, we propose that explicit perception and declarative memories require a semantic decoder, which, in a simple realization, is based on four layers: First, a sensory memory layer, as a buffer for sensory input, second, an index layer representing concepts, third, a memoryless representation layer for the broadcasting of information ---the "blackboard", or the "canvas" of the brain--- and fourth, a working memory layer as a processing center and data buffer. We discuss the operations of the four layers and relate them to the global workspace theory. In a Bayesian brain interpretation, semantic memory defines the prior for observable triple statements. We propose that ---in evolution and during development--- semantic memory, episodic memory, and natural language evolved as emergent properties in agents' process to gain a deeper understanding of sensory information.

연구 동기 및 목표

• 인간의 뇌가 감각 입력을 명시적 기제 지식으로 변환하는 복잡한 의미 해독 과정을 이해하는 것.
• 경험기억과 의미기억 간의 상호작용이 인지 처리 과정에서 유도되는 결과로 모델링하는 것.
• 작업 기억과 글로벌 워크스페이스가 인간 수준의 추론과 언어를 가능하게 하는 역할를 정형화하는 것.
• 지식 그래프와 텐서 임베딩이 생물학적으로 타당하고 높은 성능을 보이는 인지 기능을 모델링할 수 있음을 보여주는 것.
• 지각 처리에서 유도된 의미기억과 경험기억의 진화적 및 발달적 유도 과정을 탐구하는 것.

제안 방법

• SPO 삼중항을 지식 그래프로 표현하고, 이를 수학적 모델링을 위해 3차원 인접 텐서로 변환하는 것.
• 개념을 색인과 분포 벡터 양면으로 표현하는 텐서 임베딩을 사용하여 명시적 및 암묵적 처리를 동시에 가능하게 하는 이중 표현을 제공하는 것.
• 네 계층의 의미 해독기 구현: 감각 기억 버퍼, 블랙보드 표현 계층, 개념 매핑을 위한 인덱스 계층, 처리를 위한 작업 기억.
• 스토캐스틱 삼중항 샘플링을 적용하여 지식 그래프를 쿼리하고, 뇌의 기억 회상 과정을 시뮬레이션하는 것.
• 베이지안 뇌 프레임워크에서 의미기억을 삼중항 문장에 대한 사전 분포로 모델링하는 것. 경험기억은 맥락과 학습 데이터를 제공한다.
• 기본 지식 그래프 데이터셋에서 모델을 검증하여 여러 표준 과제에서 최고 성능을 달성하는 것.

실험 결과

연구 질문

• RQ1 인간 뇌에서 인지와 기억를 SPO 삼중항을 사용한 의미 해독 과정으로 어떻게 모델링할 수 있는가?
• RQ2 작업 기억과 글로벌 워크스페이스는 복잡한 의미 해독과 명시적 기억을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 의미기억과 경험기억은 감각 입력으로부터 더 깊은 의미를 추출해야 하는 필요성에서 어떻게 유도되는가?
• RQ4 이중 색인-임베딩 표현을 갖는 텐서 모델은 생물학적 뇌 기제를 어떻게 반영하는가?
• RQ5 지식 그래프와 스토캐스틱 샘플링은 어떻게 뇌 유사 기억 회상과 추론을 시뮬레이션할 수 있는가?

주요 결과

• 모델은 기준 지식 그래프 데이터셋에서 최고 성능을 기록하였으며, FB15k-237 데이터셋에서 93.32%의 MRR을 달성하고 YAGO3-10 데이터셋에서 93.46%의 MRR을 기록하였다.
• 제안된 네 계층의 의미 해독기—감각 기억, 블랙보드, 인덱스, 작업 기억—는 인지 및 기억에 대한 생물학적으로 타당한 아키텍처를 제공한다.
• 의미기억은 삼중항 문장에 대한 사전 분포로 모델링되어 베이지안 뇌 이론과 일치한다.
• 경험기억은 맥락과 정서적 중요성을 기여하여 의사결정 및 계획 능력을 향상시킨다.
• 주의 메커니즘은 삼중항 샘플링을 안내하고 계층적이고 순차적인 방식으로 관련된 실체(주어, 목적어, 서술어)를 선택하는 데 핵심적이다.
• 모델는 의미기억, 경험기억, 언어가 감각 입력으로부터 복잡한 의미를 추출해야 하는 뇌의 필요성에서 유도된 부산물로 진화했다고 제안한다.