Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Learning temporal relationships between symbols with Laplace Neural Manifolds

Marc W. Howard, Zahra G. Esfahani|arXiv (Cornell University)|2023. 02. 20.
Neural dynamics and brain functionNeuroscience인용 수 3
한 줄 요약

이 논문은 뇌의 시간 기억을 과거 사건들의 실수 편미분 변환으로 모델링함으로써 사건 간 시간 관계를 학습하는 신경생물학적으로 타당한 프레임워크를 제안한다. 다양한 시냅스 시간 상수를 활용함으로써 모델은 연속 시간 예측을 가능하게 하며, 시간적 신용 할당을 위한 라플라스 시간 차분을 도입하여 명시적인 시간 기억을 통합한 새로운 유형의 강화학습 기반을 제공한다.

ABSTRACT

Firing across populations of neurons in many regions of the mammalian brain maintains a temporal memory, a neural timeline of the recent past. Behavioral results demonstrate that people can both remember the past and anticipate the future over an analogous internal timeline. This paper presents a mathematical framework for building this timeline of the future. We assume that the input to the system is a time series of symbols--sparse tokenized representations of the present--in continuous time. The goal is to record pairwise temporal relationships between symbols over a wide range of time scales. We assume that the brain has access to a temporal memory in the form of the real Laplace transform. Hebbian associations with a diversity of synaptic time scales are formed between the past timeline and the present symbol. The associative memory stores the convolution between the past and the present. Knowing the temporal relationship between the past and the present allows one to infer relationships between the present and the future. With appropriate normalization, this Hebbian associative matrix can store a Laplace successor representation and a Laplace predecessor representation from which measures of temporal contingency can be evaluated. The diversity of synaptic time constants allows for learning of non-stationary statistics as well as joint statistics between triplets of symbols. This framework synthesizes a number of recent neuroscientific findings including results from dopamine neurons in the mesolimbic forebrain.

연구 동기 및 목표

  • 뇌가 연속 시간에서 사건 간 시간 관계를 학습하고 표현하는 방식을 설명하는 수학적 프레임워크를 개발하는 것.
  • 과거 상태와 예측된 미래 상태를 실수 라플라스 변환으로 모델링하여 시간 기억을 강화학습에 통합하는 것.
  • 기존 강화학습의 한계를 극복하기 위해 라플라스 시간 차분을 통해 시간적 신용 할당을 가능하게 하는 것.
  • 특히 뇌 내 신경적 시간선에 대한 증거를 고려할 때, 시간적 조건화를 학습하는 데 있어 신경생리학적으로 타당한 메커니즘을 제공하는 것.
  • 로그 스케일의 라플라스 도메인 파rameter 샘플링을 통해 시간 처리의 척도 공변성을 확립함으로써 다양한 시간 척도에서의 강건성을 지원하는 것.

제안 방법

  • 모델은 과거 자극의 실수 라플라스 변환으로 시간 기억을 표현하며, 신경 집단은 비율 상수 $ s $ 로 인덱싱된 발화율을 인코딩한다.
  • 다양한 시간 상수를 가진 헤비안 시냅스 가소성은 과거와 현재 사건 간의 연관성을 형성하여 시간 관계 학습을 가능하게 한다.
  • 미래 예측은 현재 시점에서 시간 기억을 미래로 연장함으로써 동일한 라플라스 도메인 표현을 사용하여 생성된다.
  • 시간적 신용 할당은 예측된 결과와 실제 결과를 비교하는 라플라스 시간 차분을 통해 계산된다.
  • 모델은 $ s $ 에 대해 로그 스케일을 사용하여 척도 공변성을 확보하고 다양한 시간 척도에서의 강건성을 가능하게 한다.
  • 라플라스 변환의 특성, 예를 들어 이동 불변성과 컨볼루션 연산을 활용하여 시간 변환의 효율적 계산을 수행한다.
Figure 1: Guide to notation. A. Sign conventions. At the present moment $t$ , objective time $\tau$ runs from $-\infty$ to $\infty$ . $\tau=0$ corresponds to time $t$ . The real Laplace domain variable $s$ runs from $0^{+}$ to $+\infty$ for both past and future, approximated as $s_{\textnormal{min}}
Figure 1: Guide to notation. A. Sign conventions. At the present moment $t$ , objective time $\tau$ runs from $-\infty$ to $\infty$ . $\tau=0$ corresponds to time $t$ . The real Laplace domain variable $s$ runs from $0^{+}$ to $+\infty$ for both past and future, approximated as $s_{\textnormal{min}}

실험 결과

연구 질문

  • RQ1뇌는 어떻게 연속 시간에서 사건 간 시간 관계를 표현하고 학습할 수 있는가?
  • RQ2어떤 신경 메커니즘이 통합된 프레임워크 내에서 과거 기억과 미래 예측을 동시에 가능하게 하는가?
  • RQ3뇌의 연속 시간 처리 방식을 반영하여 시간적 신용 할당을 어떻게 계산할 수 있는가?
  • RQ4다양한 시간 척도에서 강건한 시간 처리를 위해 시간 상수의 로그 스케일이 필요한 이유는 무엇인가?
  • RQ5라플라스 변환은 명시적인 시간 기억을 통합한 새로운 유형의 강화학습을 위한 생물학적으로 타당한 기반으로 기능할 수 있는가?

주요 결과

  • 모델은 동일한 실수 라플라스 변환 표현을 사용하여 과거 기억과 미래 예측을 성공적으로 표현함으로써 통합된 시간 프레임워크를 구현한다.
  • 다양한 시냅스 시간 상수의 사용은 단일 시간 상수를 초월해 장기간의 시험 역사 동안 시간 관계를 인코딩할 수 있도록 한다.
  • 라플라스 시간 차분은 예측된 결과와 실제 결과를 비교함으로써 시간적 신용 할당에 생물학적으로 타당한 메커니즘을 제공한다.
  • 이 프레임워크는 척도 공변성이다: 시간을 스케일링하면 $ s $-축을 따라 단순한 이동만 발생하며, 모델의 구조는 유지되며 다양한 시간 척도에서의 강건성이 보장된다.
  • 라플라스 도메인 내 신경 표현은 이동 및 컨볼루션과 같은 효율적이고 데이터에 의존하지 않는 연산을 지원하여 빠르고 일반화 가능한 계산을 가능하게 한다.
  • 모델의 로그 스케일 시간 체계는 신경 시간 상수의 경험적 관측과 일치하며, 听각 및 시각 작업에서 나타나는 다양한 속도의 시간 사건에 대한 일반화를 지원한다.
Figure 2: Neural manifolds to construct a log compressed timeline of the past and the future. Top: A temporal relationship exists between x and y such that y always follows x after a delay of $\tau_{o}$ seconds. Consider how the internal timeline ought to behave after x is presented at $t=0$ . At ti
Figure 2: Neural manifolds to construct a log compressed timeline of the past and the future. Top: A temporal relationship exists between x and y such that y always follows x after a delay of $\tau_{o}$ seconds. Consider how the internal timeline ought to behave after x is presented at $t=0$ . At ti

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.