[논문 리뷰] Sequential Memory with Temporal Predictive Coding

Mufeng Tang, Helen C. Barron외 1명|PubMed|2023. 05. 19.

Neural dynamics and brain function참고 문헌 37인용 수 8

한 줄 요약

이 논문은 시계열 메모리를 위한 temporal predictive coding (tPC)를 소개하며, 생물학적으로 타당한 신경 구현으로 시퀀스를 기억하고 회상할 수 있음을 보여주고, tPC에서의 whitening이 고전적 비대칭 Hopfield 네트워크와 비교해 안정적인 회상을 가져다줌을 제시합니다.

ABSTRACT

Forming accurate memory of sequential stimuli is a fundamental function of biological agents. However, the computational mechanism underlying sequential memory in the brain remains unclear. Inspired by neuroscience theories and recent successes in applying predictive coding (PC) to <i>static</i> memory tasks, in this work we propose a novel PC-based model for <i>sequential</i> memory, called <i>temporal predictive coding</i> (tPC). We show that our tPC models can memorize and retrieve sequential inputs accurately with a biologically plausible neural implementation. Importantly, our analytical study reveals that tPC can be viewed as a classical Asymmetric Hopfield Network (AHN) with an implicit statistical whitening process, which leads to more stable performance in sequential memory tasks of structured inputs. Moreover, we find that tPC exhibits properties consistent with behavioral observations and theories in neuroscience, thereby strengthening its biological relevance. Our work establishes a possible computational mechanism underlying sequential memory in the brain that can also be theoretically interpreted using existing memory model frameworks.

연구 동기 및 목표

• 뇌가 시계열의 기억을 형성하는 방식에 대한 동기 부여와 모델링.
• 생물학적으로 타당한 구현으로 시계열 예측 부호화 프레임워크를 개발.
• tPC를 비대칭 AHN과 whitening과의 이론적 속성과 연결하는 분석.
• 구조화된 시퀀스 데이터에서 기존 기억 모델에 대한 tPC의 경험적 이점 시연.
• 일반화 가능한 컨텍스트 표현과 함께 시퀀스 기억의 인지적 타당성을 보여주는 기존의 직렬 회상 현상과의 일치 탐구(behavioral relevance).

제안 방법

• 시계열의 정적 PC의 시계열 확장을 통한 기억 모델로서의 temporal predictive coding (tPC) 제안.
• 시간 예측 오차를 최소화하고 Hebbian 규칙으로 학습하며 로컬 추론으로 회상하는 단층 tPC 도출.
• 단층 tPC가 비대칭 Hopfield 네트워크(AHN)의 whitening된 내적 곱 형태와 동등함을 보임.
• 맥락과 역학을 포착하는 은닉층이 있는 2층 tPC로 확장하여 맥락 의존적 표현 가능.
• 값 뉴런군과 오차 뉴런군의 신경 구현 스케치와 시계열 예측을 위한 시냅스 지연 메커니즘 제시.
• 구조화된 시퀀스 데이터에서 tPC를 AHN 및 현대의 연속 AHN과 비교하고 결과를 인지 지도와 같은 표현과 연결.

Figure 1: Neural implementations of the tPC models. A: single-layer tPC. B: 2-layer tPC.

실험 결과

연구 질문

• RQ1 tPC가 생물학적으로 타당한 방식으로 시계열 의존성을 가진 시퀀스를 기억하고 회상할 수 있는가?
• RQ2 회상 중에 tPC가 패턴을 암묵적으로 whitening하고, 이것이 고전적 AHN보다 안정성을 향상시키는가?
• RQ3 계층적(2층) tPC가 컨텍스트 의존적 표현을 어떻게 개발하고 학습된 시퀀스 역학을 일반화하는가?
• RQ4 tPC 모델이 primacy/recency 효과 및 시퀀스 길이 효과와 같은 인지적 직렬 회상 현상을 재현하는가?
• RQ5 tPC가 인지 지도 및 순차 기억의 컨텍스트 표현에 대한 통찰을 제공하는가?

주요 결과

• 단층 tPC는 AHN의 whitening 강화 버전으로 작동하여 상관된 또는 구조화된 시퀀스에서 안정성을 개선합니다.
• tPC의 whitening은 입력을 암시적으로 상관 제거하여 기본 AHN 및 일부 MCAHN 변종보다 자연스러운 시퀀스에서 더 나은 기억 용량을 제공합니다.
• 2층 tPC는 컨텍스트 의존적 표현을 개발하여 모호한 입력을 구분하고 올바른 다음 단계 회상을 지원합니다.
• tPC는 직렬 회상에서 시퀀스 길이의 영향 및 primacy/recency 효과와 같은 질적 행동 패턴을 재현합니다.
• 이 모델은 컨텍스트 표현 및 학습된 역학의 보이지 않는 일반화를 시사하며 인지 지도와의 연결 가능성을 시사합니다.

Figure 2: Comparison between single-layer tPC and AHNs. A: Capacity of models with uncorrelated binary patterns. B: Capacity of models with binary patterns with increasing feature correlations. C: Recall performance with sequences of binary MNIST digits.