[논문 리뷰] Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes
이 논문은 국소적으로 활성화되는/전반적으로 억제되는 연결 패tern과 동적 코딩을 통해 클리포드 토러스 유사 활동 다양체를 형성함으로써 순환 신경망(RNNs)이 다수의 연속적인 워킹 메모리 항목을 어떻게 저장하는지 조사한다. 주요 발견은 이러한 기하학적 구조가 두 방향을 정수적으로 저장함으로써 간섭을 최소화할 수 있으며, 노이즈에 의해 유도되는 고차원의 순서 기억이 저차원의 절대 기억을 제약함으로써 인간의 심리물리적 행동을 재현한다는 것이다.
Many daily activities and psychophysical experiments involve keeping multiple items in working memory. When items take continuous values (e.g., orientation, contrast, length, loudness) they must be stored in a continuous structure of appropriate dimensions. We investigate how this structure is represented in neural circuits by training recurrent networks to report two previously shown stimulus orientations. We find the activity manifold for the two orientations resembles a Clifford torus. Although a Clifford and standard torus (the surface of a donut) are topologically equivalent, they have important functional differences. A Clifford torus treats the two orientations equally and keeps them in orthogonal subspaces, as demanded by the task, whereas a standard torus does not. We find and characterize the connectivity patterns that support the Clifford torus. Moreover, in addition to attractors that store information via persistent activity, our networks also use a dynamic code where units change their tuning to prevent new sensory input from overwriting the previously stored one. We argue that such dynamic codes are generally required whenever multiple inputs enter a memory system via shared connections. Finally, we apply our framework to a human psychophysics experiment in which subjects reported two remembered orientations. By varying the training conditions of the RNNs, we test and support the hypothesis that human behavior is a product of both neural noise and reliance on the more stable and behaviorally relevant memory of the ordinal relationship between the two orientations. This suggests that suitable inductive biases in RNNs are important for uncovering how the human brain implements working memory. Together, these results offer an understanding of the neural computations underlying a class of visual decoding tasks, bridging the scales from human behavior to synaptic connectivity.
연구 동기 및 목표
- 신경 회로가 두 개의 연속적으로 제시된 방향과 같은 다수의 연속적인 워킹 메모리 항목을 어떻게 저장하는지 이해하기 위해.
- 다수의 연속적인 값을 반영하기 위한 최적의 기하학적 구조(예: 클리포드 토러스 대 표준 토러스)를 규명하기 위해.
- 워킹 메모리에서 다수의 연속 변수를 안정적으로 정수적으로 표현하는 데 기여하는 연결 패턴을 특정하기 위해.
- 신경 조절이 시간에 따라 변화하는 동적 코딩이 순차적 입력 중 메모리 오버라이트를 방지하는 데 어떻게 기여하는지 조사하기 위해.
- 노이즈와 계층적 복원이 RNNs에서 인간의 심리물리적 행동을 재현할 수 있는지 테스트하기 위해.
제안 방법
- 피드백을 사용한 지도 학습을 통해 순환 신경망(RNNs)을 두 번째로 나타난 자극 방향을 보고하도록 훈련시킨다.
- 자극 종료 후 순환 유닛의 저차원 활동 다양체를 분석하여 기하학적 구조(예: 클리포드 토러스 대 표준 토러스)를 규명한다.
- 위상적으로 동일하지만 메트릭적으로 다른 다양체를 구분하기 위해 정수성과 평행성 테스트를 적용한다.
- 각 방향에 특화된 국소적으로 활성화되는/전반적으로 억제되는 연결 패턴을 순환 유닛 간의 연결 패턴 분석을 통해 규명한다.
- 시간에 따른 신경 조절 곡선의 변화를 추적하여 메모리 오버라이트로부터 보호하는 데 기여하는 동적 코딩 메커니즘을 탐지한다.
- 순환 유닛에 노이즈를 주입하고 인간의 심리물리적 작업을 시뮬레이션하여 고차원의 순서 기억이 저차원의 절대 기억 보고를 어떻게 제약하는지 테스트한다.
실험 결과
연구 질문
- RQ1두 개의 연속적인 워킹 메모리 항목을 저장하기 위한 활동 다양체에 가장 적합한 기하학적 구조는 무엇인가?
- RQ2국소적으로 활성화되는/전반적으로 억제되는 연결 패턴이 다수의 연속적인 값을 정수적으로 저장하는 데 어떻게 기여하는가?
- RQ3신경 조절이 시간에 따라 변화하는 동적 코딩이 순차적 입력 중 메모리 오버라이트를 방지하는 데 어떤 역할을 하는가?
- RQ4RNNs의 노이즈가 인간의 심리물리적 발견—즉, 순서 관계가 절대 기억 보고를 제약한다는 것—을 재현할 수 있는가?
- RQ5왜 표준 피드포워드 네트워크들은 겹치는 입력이 있는 워킹 메모리 작업에서 인간의 행동 패턴을 재현하지 못하는가?
주요 결과
- 두 기억된 방향에 대한 활동 다양체는 각각의 방향에 대해 정수적인 부분공간을 유지할 수 있다는 점에서 표준 토러스가 아니라 클리포드 토러스 유사 구조를 띤다.
- 클리포드-토러스 유사 다양체는 각각의 방향에 대해 고유한 국소적으로 활성화되는/전반적으로 억제되는 연결 패턴에 의해 지지되며, 간섭을 최소화한다.
- 신경 유닛은 시간에 따라 조절 곡선을 동적으로 이동시키며, 액터로 상태에서 새로운 구성으로 전환되어 첫 번째 기억이 두 번째 입력에 의해 오버라이트되는 것을 방지한다.
- 순환 유닛의 노이즈는 고차원의 순서 기억이 저차원의 절대 방향 보고를 제약하는 데 필수적이며, 인간의 심리물리적 결과의 핵심 요소를 재현한다.
- 순서 제약이 없는 RNNs는 인간의 행동을 재현하지 못하며, 이는 인간의 워킹 메모리가 신경 노이즈와 안정적인 순서 관계의 조합에 의존한다는 것을 시사한다.
- 표준 피드포워드 네트워크들은 인간의 심리물리학에서 관찰되는 계층적 복원을 재현할 수 없으며, 정확한 행동 모델링을 위해서는 순환 동역학과 노이즈가 필수적임을 강조한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.