[論文レビュー] The Tensor Memory Hypothesis

Volker Tresp, Yunpu Ma|arXiv (Cornell University)|Aug 9, 2017

Tensor decomposition and applications参考文献 47被引用数 8

ひとこと要約

本稿は、エンティティ、述語、時間の共有された隠れ表現を用いて、エピソード記憶と意味記憶をモデル化するテンソル分解ベースのフレームワークを提案する。知覚、エピソード記憶の形成、意味的復元がすべて同じ数学的構造に依存することを示し、エピソード的経験が新皮質に意味的記憶を形成させる生物学的に妥当なメカニズムを提供する。これは、複数のトレース理論（MTT）と補完的学習システム（CLS）フレームワークにおける核心的課題を解決する。

ABSTRACT

We discuss memory models which are based on tensor decompositions using latent representations of entities and events. We show how episodic memory and semantic memory can be realized and discuss how new memory traces can be generated from sensory input: Existing memories are the basis for perception and new memories are generated via perception. We relate our mathematical approach to the hippocampal memory indexing theory. We describe the first detailed mathematical models for the complete processing pipeline from sensory input and its semantic decoding, i.e., perception, to the formation of episodic and semantic memories and their declarative semantic decodings. Our main hypothesis is that perception includes an active semantic decoding process, which relies on latent representations of entities and predicates, and that episodic and semantic memories depend on the same decoding process. We contribute to the debate between the leading memory consolidation theories, i.e., the standard consolidation theory (SCT) and the multiple trace theory (MTT). The latter is closely related to the complementary learning systems (CLS) framework. In particular, we show explicitly how episodic memory can teach the neocortex to form a semantic memory, which is a core issue in MTT and CLS.

研究の動機と目的

• テンソル分解を用いた数学的に厳密で生物学的に妥当な宣言的記憶モデルの構築。
• 隠れエンティティおよび述語表現の共通フレームワークにおいて、エピソード記憶、意味記憶、知覚を統合すること。
• 複数のトレース理論（MTT）と補完的学習システム（CLS）の核心的問題の解決：エピソード記憶が新皮質に意味的記憶を形成させる仕組み。
• 提示されたモデルを海馬記憶インデクシング理論に関連付け、神経インデクシングと記憶形成・想起を結びつけること。
• 感覚入力の意味的復元と記憶形成が、共有された隠れ表現に依存する同一のプロセスであることを示すこと。

提案手法

• エンティティ（例：人物、場所）と述語（例：'知っている'）は、共有埋め込み空間内の隠れベクトルとして表現される。
• 意味記憶は、三方向テンソルとしてモデル化され、三項組 (s,p,o) の確率は、Tuckerテンソル分解のロジスティック関数によって計算される：$ P((s,p,o)) = \text{sig}(\theta_{s,p,o}) $、ここで $ \theta_{s,p,o} = f^s(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}) $。
• エピソード記憶は、時間要因を追加することで四方向テンソルに拡張され、$ P((s,p,o,t)) = \text{sig}(\theta_{s,p,o,t}) $ と表され、$ \theta_{s,p,o,t} = f^e(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}, \mathbf{a}_{e_t}) $ となる。4モードTucker分解が使用される。
• 知覚は、能動的な意味的復元プロセスとしてモデル化される：感覚入力が隠れ表現にマッピングされ、同じテンソルフレームワークを介して宣言的文に復元される。
• 繰り返しのエピソード的トレースが、新皮質に安定した意味的表現を形成させるプロセスを明示的に示し、MTTおよびCLSと整合する。
• フレームワークは、インデックス（例：概念細胞）が感覚連合皮質に広がった表現を活性化し、過去の経験を再構築可能にするという仮定を採用している。

実験結果

リサーチクエスチョン

• RQ1 エピソード記憶と意味記憶を、隠れ表現の共通フレームワークにおいて数学的に統合できるか？
• RQ2 知覚が、記憶形成および想起に用いられる同じ隠れ表現に依存する仕組みは何か？
• RQ3 エピソード記憶が、複数のトレース理論（MTT）と補完的学習システム（CLS）と整合的に、新皮質に意味的記憶を形成させるプロセスを教えることは可能か？
• RQ4 海馬記憶インデクシング理論は、テンソルベースの記憶モデルとどのように統合されるか？
• RQ5 感覚入力を宣言的で報告可能な知識に変換するための意味的復元の役割は何か？

主な発見

• 本稿は、エピソード記憶トレースが新皮質に意味的記憶を形成させるプロセスを数学的に詳細にモデル化した最初の例を提供し、MTTおよびCLSにおける中心的課題に直接的に対処する。
• 意味記憶は、主語、述語、目的語のための隠れベクトル関数に基づき、コアテンソルが関係的知識をエンコードする三方向テンソル分解としてモデル化される。
• エピソード記憶は、時間要因を含む四方向テンソルとしてモデル化され、同じテンソル分解フレームワークが4モードに拡張され、イベント固有の記憶表現が可能になる。
• 本モデルは、知覚が受動的ではなく、記憶で用いられる同じ隠れ表現に依存する能動的な意味的復元プロセスであることを示し、感覚入力に対する言語的報告可能な宣言的理解を可能にする。
• フレームワークは、インデックス（例：概念細胞）が分散した皮質パターンを活性化し、過去の出来事のマルチセンサリー側面を再構築できることを支持しており、ヒトおよび動物研究からの神経的証拠と整合する。
• エピソード記憶トレースのマージナリゼーション—意味的知識を導出するために不可欠—が、和積モデル（sum-product models）であるテンソル分解においてのみ数学的に可能であることが示され、このアーキテクチャの生物学的妥当性を示唆する。