[論文レビュー] The Tensor Brain: Semantic Decoding for Perception and Memory

Volker Tresp, Sahand Sharifzadeh+2 more|arXiv (Cornell University)|Jan 29, 2020

Neural dynamics and brain function参考文献 124被引用数 5

ひとこと要約

本論文は、主語・動詞・目的語（SPO）三項対を用いて、知覚と記憶を意味的復号プロセスとして定式化する、テンソルに基づく人間脳の数学的モデルを提案する。4層構造の意味的復号器（感覚記憶、ブラックボード表現、インデックス層、作業記憶）を導入し、知識グラフベンチマークタスクで最先端の性能を示しながら、脳機能と知識グラフ、ベイズ推論を結びつける。

ABSTRACT

We analyse perception and memory, using mathematical models for knowledge graphs and tensors, to gain insights into the corresponding functionalities of the human mind. Our discussion is based on the concept of propositional sentences consisting of extit{subject-predicate-object} (SPO) triples for expressing elementary facts. SPO sentences are the basis for most natural languages but might also be important for explicit perception and declarative memories, as well as intra-brain communication and the ability to argue and reason. A set of SPO sentences can be described as a knowledge graph, which can be transformed into an adjacency tensor. We introduce tensor models, where concepts have dual representations as indices and associated embeddings, two constructs we believe are essential for the understanding of implicit and explicit perception and memory in the brain. We argue that a biological realization of perception and memory imposes constraints on information processing. In particular, we propose that explicit perception and declarative memories require a semantic decoder, which, in a simple realization, is based on four layers: First, a sensory memory layer, as a buffer for sensory input, second, an index layer representing concepts, third, a memoryless representation layer for the broadcasting of information ---the "blackboard", or the "canvas" of the brain--- and fourth, a working memory layer as a processing center and data buffer. We discuss the operations of the four layers and relate them to the global workspace theory. In a Bayesian brain interpretation, semantic memory defines the prior for observable triple statements. We propose that ---in evolution and during development--- semantic memory, episodic memory, and natural language evolved as emergent properties in agents' process to gain a deeper understanding of sensory information.

研究の動機と目的

• 人間の脳が感覚入力を明示的な記述的知識に変換する複雑な意味的復号プロセスをどのように実行するかを理解すること。
• 出来事記憶と意味的記憶の相互作用を、知覚処理の副産物として生じる現象としてモデル化すること。
• 作業記憶とグローバルワークスペースが人間水準の推論と言語を可能にする役割を形式化すること。
• 知識グラフとテンソル埋め込みが生物学的に妥当で高い性能を持つ認知機能をモデル化できることを示すこと。
• 知覚処理から生じる意味的記憶と出来事記憶の進化的・発達的発生を探索すること。

提案手法

• SPO三項対を知識グラフとして表現し、その後3次元隣接テンソルに変換して数学的モデリングを行う。
• 概念をインデックスと分散表現ベクトルの両方で表現するテンソル埋め込みを用い、明示的および暗黙的処理の両方を可能にする。
• 4層構造の意味的復号器（感覚記憶バッファ、ブラックボード表現層、概念マッピング用インデックス層、処理用作業記憶）を実装する。
• 確率的三項対サンプリングを用いて知識グラフを照会し、脳の記憶想起プロセスを模倣する。
• ベイズ脳フレームワークにおいて、意味的記憶を三項対の事前分布として定式化する。出来事記憶が文脈と感情的顕在性を提供する。
• ベンチマーク知識グラフデータセット上でモデルを検証し、いくつかの標準タスクで最先端の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 知覚と記憶をSPO三項対を用いた意味的復号プロセスとしてどのようにモデル化できるか。
• RQ2 作業記憶とグローバルワークスペースが、複雑な意味的復号と記述的記憶を可能にする役割は何か。
• RQ3 意味的記憶と出来事記憶は、感覚入力からより深い意味を抽出する必要性からどのように発生するか。
• RQ4 インデックスと埋め込みの二重表現を持つテンソルモデルは、生物学的脳メカニズムをどの程度反映しているか。
• RQ5 知識グラフと確率的サンプリングは、脳に類似した記憶想起と推論をどのようになぞるか。

主な発見

• 本モデルは、ベンチマーク知識グラフデータセットで最先端の性能を達成し、FB15k-237データセットで93.32%のMRR、YAGO3-10データセットで93.46%のMRRを達成した。
• 提案された4層構造の意味的復号器（感覚記憶、ブラックボード、インデックス、作業記憶）は、知覚と記憶の生物学的に妥当なアーキテクチャを提供する。
• 意味的記憶は、三項対の事前分布としてモデル化され、ベイズ脳理論と整合する。
• 出来事記憶は文脈と感情的顕在性を提供し、意思決定および計画能力を強化する。
• 注意メカニズムは、階層的・逐次的に関連するエンティティ（主語、目的語、動詞）を選択するための三項対サンプリングをガイドする上で不可欠である。
• 本モデルは、意味的記憶と出来事記憶、および言語が、感覚入力から複雑な意味を抽出する脳の必要性の副産物として進化した可能性を示唆する。