[논문 리뷰] Manifold GPLVMs for discovering non-Euclidean latent structure in neural data

Kristopher T. Jensen, Ta-Chu Kao외 2명|arXiv (Cornell University)|2020. 06. 12.

Gaussian Processes and Bayesian Inference참고 문헌 8인용 수 13

한 줄 요약

이 논문은 신경 데이터에서 비유클리드 잠재 다양체—예를 들어 구, 토러스, 회전군 등—을 학습하는 확률적 프레임워크인 다양체 가우시안 프로세스 잠재변수 모델(mGPLVM)을 소개한다. 신경 세포의 투명도 곡선을 내재 다양체 위의 가우시안 프로세스로 모델링함으로써 mGPLVM는 머리 방향과 같이 행동적으로 관련된 변수의 매끄럽고 위상적으로 일관된 표현을 제공하며, Drosophila와 쥐의 신경 기록에서 원형 및 회전 운동을 보다 잘 포착하는 데 유럽형 모델보다 뛰어난 성능을 보인다.

ABSTRACT

A common problem in neuroscience is to elucidate the collective neural representations of behaviorally important variables such as head direction, spatial location, upcoming movements, or mental spatial transformations. Often, these latent variables are internal constructs not directly accessible to the experimenter. Here, we propose a new probabilistic latent variable model to simultaneously identify the latent state and the way each neuron contributes to its representation in an unsupervised way. In contrast to previous models which assume Euclidean latent spaces, we embrace the fact that latent states often belong to symmetric manifolds such as spheres, tori, or rotation groups of various dimensions. We therefore propose the manifold Gaussian process latent variable model (mGPLVM), where neural responses arise from (i) a shared latent variable living on a specific manifold, and (ii) a set of non-parametric tuning curves determining how each neuron contributes to the representation. Cross-validated comparisons of models with different topologies can be used to distinguish between candidate manifolds, and variational inference enables quantification of uncertainty. We demonstrate the validity of the approach on several synthetic datasets, as well as on calcium recordings from the ellipsoid body of Drosophila melanogaster and extracellular recordings from the mouse anterodorsal thalamic nucleus. These circuits are both known to encode head direction, and mGPLVM correctly recovers the ring topology expected from neural populations representing a single angular variable.

연구 동기 및 목표

• 비유클리드 위상구조—예를 들어 구, 토러스, SO(3)—를 명시적으로 포함하는 확률적 잠재변수 모델을 개발하여 신경 데이터 분석에 적용한다.
• 유클리드 투영으로 인한 인위적 불연속성 없이, 이러한 다양체 위에서 잠재 상태와 개별 뉴런의 투명도 곡선을 비지도로 추론할 수 있도록 한다.
• 교차검증을 통한 비교를 통해 서로 경쟁하는 다양체(예: 원형 vs. 선형) 간의 모델 선택을 원칙적으로 수행한다.
• 변분 추론을 통해 잠재 상태 추정치의 불확실성을 정량화하여 신경 표현의 일관성 해석을 지원한다.
• Drosophila의 엘리포이드 바이러스 및 쥐의 전측배측 소뇌핵에서의 실제 신경 기록과 합성 데이터를 바탕으로 모델을 검증한다. 이들 영역은 모두 머리 방향을 인코딩하는 것으로 알려져 있다.

제안 방법

• mGPLVM는 비유클리드 잠재 공간에 대해 GPLVM 프레임워크를 확장하여, 신경 반응이 다양체 M 위의 잠재 상태와 뉴런별 투명도 곡선(가우시안 프로세스로 모델링)에 의존하는 생성 모델을 정의한다.
• Falorsi 등(2019)의 기법을 활용해 리 군(S^1, T^n, SO(3) 등)에서 재정의된 변분 추론을 적용하여 비유클리드 공간에서의 미분 가능 최적화를 가능하게 한다.
• 주기적이고 내재된 커널(예: 원형에 대한 버흐-마이스, 구 위의 등방성)을 사용하여 투명도 곡선에 매끄럽고 위상적 제약 조건을 통합한다.
• 잠재 상태와 투명도 곡선에 대한 진짜 사후분포를 근사하기 위해 다양체 위의 기저 분포와 플로우 기반 변환을 조합한 변분 사후분포를 구성한다.
• 후보 다양체 간의 교차검증된 주변 가능도 비교를 통해 모델 선택을 수행하여 가장 적절한 위상학적 구조를 식별한다.
• 직접 곱 다양체(T^1 × R^1 등)를 확장하여 각도 변수와 활동 수준 또는 속도와 같은 조절 요소를 함께 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 확률적 잠재변수 모델은 신경 집단 활동으로부터 진짜 비유클리드 다양체 구조를 정확히 복원할 수 있는가?
• RQ2 원형 또는 토러스와 같은 다양체 위에 잠재 상태를 모델링할 경우, 머리 방향과 같은 각도 변수의 표현이 유클리드 투영에 비해 어떻게 향상되는가?
• RQ3 교차검증된 모델 비교를 통해 mGPLVM는 잠재 상태 공간에 대한 경쟁적 위상가설(예: 원형 vs. 선형)을 식별할 수 있는가?
• RQ4 모델의 불확실성 추정치는 동적 환경에서 행동적 또는 신경적 일관성과 어느 정도 상관관계가 있는가?
• RQ5 mGPLVM는 머리 방향과 전체 활동 조절과 같은 상호의존적인 다수의 잠재 변수를 곱 다양체 위에서 모델링할 수 있는가?

주요 결과

• 합성 데이터에서는 mGPLVM가 각도 변수에 대해 진짜로 존재하는 고리 위상(S^1)을 정확히 식별했으며, 유클리드 모델은 원형 연속성을 포착하지 못하고 인위적인 불연속성을 보였다.
• Drosophila의 엘리포이드 바이러스 칼슘 기록에서는 mGPLVM가 머리 방향 인코딩의 기대되는 고리 구조를 성공적으로 복원했으며, 모델 선택 결과에서 T^1이 선형 또는 고차원 다양체보다 유리함을 보였다.
• 쥐의 전측배측 소뇌핵 외부 기록에서는 mGPLVM가 알려진 머리 방향 투명도와 일관된 원형 잠재 상태를 추론했으며, 높은 사후 신뢰도와 낮은 재구성 오차를 기록했다.
• 모델의 불확실성 추정치는 신호 품질과 행동적 맥락에 민감하게 반응했으며, 모호하거나 노이즈가 많은 조건에서 더 높은 불확실성을 보였다.
• 곱 다양체(T^1 × R^1 등)로의 확장은 머리 방향과 전체 활동 조절을 동시에 성공적으로 포착했으며, 이는 다차원 잠재 구조를 모델링할 수 있는 프레임워크의 유연성을 보여주었다.
• mGPLVM 프레임워크 내의 자동 관련성 결정(ARD)은 2차원 토러스를 1차원 원형으로 정확히 감소시켰으며, 이는 모델이 진짜로 잠재 다양체의 차원수를 추론할 수 있음을 시사한다.