[논문 리뷰] Neural tuning and representational geometry

Nikolaus Kriegeskorte, Xue-Xin Wei|arXiv (Cornell University)|2021. 04. 20.

Neural dynamics and brain function참고 문헌 255인용 수 8

한 줄 요약

이 논문은 신경 세포의 자극에 대한 반응 방식인 신경 조정(neural tuning)과 인코딩된 정보의 다변량적 구조인 표현 기하학(representational geometry)을 이어주는 이론적 프레임워크를 수립한다. 이는 조정이 기하학을 형성하지만, 서로 다른 조정 프로파일이 동일한 기하학을 유도할 수 있음을 보여주며, 이 기하학이 선형 디코더가 읽을 수 있는 정보, 페셔 정보(Fisher information), 상호정보량(mutual information), 그리고 심리물리적 작업에서의 행동 성능을 결정한다는 것을 시사한다.

ABSTRACT

A central goal of neuroscience is to understand the representations formed by brain activity patterns and their connection to behavior. The classical approach is to investigate how individual neurons encode the stimuli and how their tuning determines the fidelity of the neural representation. Tuning analyses often use the Fisher information to characterize the sensitivity of neural responses to small changes of the stimulus. In recent decades, measurements of large populations of neurons have motivated a complementary approach, which focuses on the information available to linear decoders. The decodable information is captured by the geometry of the representational patterns in the multivariate response space. Here we review neural tuning and representational geometry with the goal of clarifying the relationship between them. The tuning induces the geometry, but different sets of tuned neurons can induce the same geometry. The geometry determines the Fisher information, the mutual information, and the behavioral performance of an ideal observer in a range of psychophysical tasks. We argue that future studies can benefit from considering both tuning and geometry to understand neural codes and reveal the connections between stimulus, brain activity, and behavior.

연구 동기 및 목표

• 신경 조정과 표현 기하학 간의 관계를 명확히 하기 위해.
• 인구 응답 패턴에서 유도된 표현 기하학이 선형 디코더가 이용할 수 있는 정보를 결정한다는 것을 보여주기 위해.
• 서로 다른 조정 프로파일이 동일한 표현 기하학을 유도할 수 있음을 보여주어, 기하학이 조정 자체보다 더 근본적인 신경 코드 묘사 방식임을 시사하기 위해.
• 뇌의 표현과 행동을 이해하기 위해 조정과 기하학을 통합하는 双중적 관점(dua perspective)을 주장하기 위해.
• 특히 비균일한 사전 확률 및 보상 구조 하에서, 기하학이 인지, 결정, 행동에 관련된 정보를 어떻게 포착하는지 강조하기 위해.

제안 방법

• 작은 자극 변화에 대한 신경 응답 민감도를 정량화하기 위해 페셔 정보를 사용하며, 이를 조정 곡선과 연결한다.
• 특정 자극 변수가 인구 응답에서 얼마나 잘 읽어낼 수 있는지 평가하기 위해 선형 디코딩 분석을 적용한다.
• 다변량 공간에서 응답 패턴 간의 쌍별 이질성으로 표현 기하학을 정의하며, 이를 표현 이질성 매트릭스(RDM)로 구성한다.
• 노이즈 구조(예: 비등방성, 비정규분포)가 표현 공간에서 유클리드 기하학의 타당성에 어떻게 영향을 주는지 분석한다.
• 노이즈가 비정규분포일 경우 베타차리 바이어런스 거리 또는 대칭화된 쿨백-라이블러 발산과 같은 대체 이질성 측정법을 고려한다.
• 노이즈 가정이 만족되지 않을 경우에도 분류 가능성과의 단조적 관계를 유지하는 맨포일러닝 및 잠재공간 접근법을 탐색한다.

Figure 1: Neuronal tuning determines representational geometry . Each row shows a specific configuration of the neural code for encoding a circular variable, such as orientation. Each column shows a particular way to characterize the neural code. The first two columns show traditional tuning-based c

실험 결과

연구 질문

• RQ1 신경 조정은 뇌에서 인구 표현의 기하학에 어떻게 영향을 미치는가?
• RQ2 서로 다른 조정 프로파일이 동일한 표현 기하학을 유도할 수 있는가?
• RQ3 표현 기하학이 선형 및 비선형 디코더가 이용할 수 있는 정보에 얼마나 깊이 영향을 미치는가?
• RQ4 비균일한 사전 확률 및 보상 구조는 신경 코드의 표현 기하학을 어떻게 형성하는가?
• RQ5 복잡한 노이즈 조건 하에서 잠재공간 표현은 분류 가능성을 유지하고 진정한 신경 응답 패턴의 기하학을 반영할 수 있는가?

주요 결과

• 서로 다른 조정된 신경 세포 집합이 동일한 표현 기하학을 생성할 수 있으며, 이는 기하학이 조정 자체보다 더 안정적인 신경 코드 묘사 방식임을 시사한다.
• 표현 기하학은 이상 관측자(ideal observer)가 심리물리적 작업에서 확보할 수 있는 페셔 정보, 상호정보량, 행동 성능을 완전히 결정한다.
• 노이즈 구조—특히 비등방성 또는 비정규분포—는 표현 공간에서 표준 유클리드 기하학의 타당성을 해칠 수 있으며, 이에 따라 대체 이질성 측정법이 필요하다.
• 맨포일러닝 및 잠재공간 모델링은 노이즈 가정 위반 시 기하학을 특성화하는 데 유망한 대안을 제공한다.
• 표현 기하학은 환경의 통계적 규칙성과 행동적 요구사항을 반영하며, 학습 과정을 통해 도출된 것으로 보인다. 따라서 순수하게 유전적으로 결정된 것이 아니며.
• 신경 표현의 기하학은 인지과학에서의 개념 공간(conceptual spaces)과 관련이 있을 수 있으며, 이는 신경학적 이론과 인지학적 이론 간의 잠재적 다리를 놓을 수 있음을 시사한다.

Figure 2: The relationship between manifold geometry, Fisher information, and mutual information. This toy simulation illustrates the encoding of a one-dimensional stimulus space by six different neural codes (a-f). The neural population comprises only two neurons, whose activities define the horizo