[논문 리뷰] The Tensor Memory Hypothesis

Volker Tresp, Yunpu Ma|arXiv (Cornell University)|2017. 08. 09.

Tensor decomposition and applications참고 문헌 47인용 수 8

한 줄 요약

논문은 실체, 술어, 시간의 공유 잠재 표현을 사용하여 경험적 기억과 의미 기억을 모델링하기 위한 텐서 분해 기반 프레임워크를 제안한다. 인지, 경험적 기억 형성, 의미 해독이 모두 동일한 수학적 구조에 의존함을 보여주며, 경험적 경험을 통해 neocortex가 의미 기억을 형성할 수 있는 생물학적으로 타당한 메커니즘을 제공한다—이는 다중 트레이스 이론(MTT)과 보완적 학습 시스템(MLS) 프레임워크의 核심 과제를 해결한다.

ABSTRACT

We discuss memory models which are based on tensor decompositions using latent representations of entities and events. We show how episodic memory and semantic memory can be realized and discuss how new memory traces can be generated from sensory input: Existing memories are the basis for perception and new memories are generated via perception. We relate our mathematical approach to the hippocampal memory indexing theory. We describe the first detailed mathematical models for the complete processing pipeline from sensory input and its semantic decoding, i.e., perception, to the formation of episodic and semantic memories and their declarative semantic decodings. Our main hypothesis is that perception includes an active semantic decoding process, which relies on latent representations of entities and predicates, and that episodic and semantic memories depend on the same decoding process. We contribute to the debate between the leading memory consolidation theories, i.e., the standard consolidation theory (SCT) and the multiple trace theory (MTT). The latter is closely related to the complementary learning systems (CLS) framework. In particular, we show explicitly how episodic memory can teach the neocortex to form a semantic memory, which is a core issue in MTT and CLS.

연구 동기 및 목표

• 텐서 분해를 사용하여 수학적으로 엄밀하고 생물학적으로 타당한 진술 기억 모델을 개발하기.
• 잠재 실체 및 술어 표현의 공통 프레임워크 아래 경험적 기억, 의미 기억, 인지 기능을 통합하기.
• 다중 트레이스 이론(MTT)과 보완적 학습 시스템(CLS)의 핵심 문제를 해결하기: 경험적 기억이 neocortex가 의미 기억을 형성하도록 어떻게 유도할 수 있는가?
• 제안된 모델을 해마 기억 색인 이론과 연계하여 신경 색인과 기억 형성 및 회상 간의 연결을 설명하기.
• 의미 해독이 감각 입력과 기억 형성에 공통된 잠재 표현에 의존하는 통합 과정임을 보여주기.

제안 방법

• 실체(예: 사람, 장소)와 술어(예: '알다')는 공유 임베딩 공간 내의 잠재 벡터로 표현된다.
• 의미 기억은 3차 텐서로 모델링되며, 삼중체 (s,p,o)의 확률은 터커 텐서 분해의 로지스틱 함수로 계산된다: $ P((s,p,o)) = \text{sig}(\theta_{s,p,o}) $, 여기서 $ \theta_{s,p,o} = f^s(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}) $.
• 경험적 기억은 시간을 포함함으로써 4차 텐서로 확장되며, $ P((s,p,o,t)) = \text{sig}(\theta_{s,p,o,t}) $, 여기서 $ \theta_{s,p,o,t} = f^e(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}, \mathbf{a}_{e_t}) $, 4모드 터커 분해를 사용한다.
• 인지 기능은 활성 의미 해독 과정으로 모델링된다: 감각 입력이 잠재 표현으로 매핑되고, 동일한 텐서 프레임워크를 통해 진술로 해독된다.
• 반복적인 경험적 트레이스가 neocortex가 안정적인 의미 표현을 형성하도록 훈련시킬 수 있음을 명시적으로 보여주며, MTT와 CLS와의 일치를 확보한다.
• 프레임워크는 색인(예: 개념 세포)이 감각 및 연합 피질에 걸쳐 분산된 표현을 활성화하여 과거 경험을 재구성할 수 있음을 가정한다.

실험 결과

연구 질문

• RQ1 경험적 기억과 의미 기억는 어떻게 공통된 잠재 표현 프레임워크 아래에서 수학적으로 통합될 수 있는가?
• RQ2 인지 기능은 기억 형성 및 회상에 사용되는 동일한 잠재 표현에 어떻게 의존하는가?
• RQ3 경험적 기억이 다중 트레이스 이론(MTT)과 보완적 학습 시스템(CLS)에 부합하는 방식으로 neocortex가 의미 기억을 형성하도록 유도할 수 있는가?
• RQ4 해마 기억 색인 이론은 텐서 기반 기억 모델과 어떻게 통합되는가?
• RQ5 의미 해독은 감각 입력을 진술 가능하고 보고할 수 있는 지식으로 변환하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 MTT 및 CLS의 핵심 과제를 직접 해결하며, 경험적 기억 트레이스가 어떻게 neocortex의 의미 기억 형성에 사용될 수 있는지 보여주는 첫 번째 상세한 수학적 모델을 제공한다.
• 의미 기억는 실체, 술어, 목적어에 대한 잠재 벡터의 함수로 결정되는 3차 텐서 분해로 모델링되며, 핵심 텐서는 관계 지식을 인코딩한다.
• 경험적 기억는 시간을 포함한 4차 텐서로 모델링되며, 동일한 텐서 분해 프레임워크가 네 모드로 확장되어 사건 특이적 기억을 표현할 수 있다.
• 모델은 인지 기능이 수동적인 것이 아니라 동일한 잠재 표현을 사용하는 활성 의미 해독 과정임을 보여주며, 감각 입력에 대한 언어적 보고 가능이고 진술 가능한 이해를 가능하게 한다.
• 프레임워크는 색인(예: 개념 세포)이 분산된 피질 패턴을 활성화하여 과거 사건의 다감각적 측면을 재구성할 수 있음을 지지하며, 인간 및 동물 연구의 신경 증거와 일치한다.
• 경험적 기억 트레이스의 마진화—의미 지식 유도에 필수적인 과정—는 텐서 분해와 같은 합-곱 모델에서만 수학적으로 가능함을 보여주며, 이 구조의 생물학적 타당성을 시사한다.