[논문 리뷰] Learnable latent embeddings for joint behavioral and neural analysis

Steffen Schneider, Jin Hwa Lee외 1명|arXiv (Cornell University)|2022. 04. 01.

Neural dynamics and brain function인용 수 12

한 줄 요약

이 논문은 신경 및 행동 데이터를 공동으로 모델링하여 일致성 있고 해석 가능하며 높은 성능을 보이는 잠재 표현을 생성하는 자기지도 학습 방법 CEBRA를 소개한다. 시간 또는 행동에 조건을 주고 비선형 독립 성분 분석과 대비 학습을 결합함으로써 CEBRA는 종과 세션 간에 뛰어난 복원 정확도와 일관성을 달성하며, 다양한 종과 작업에서 칼슘 및 전기생리학 데이터셋에서 기존 선형 및 비선형 방법을 능가한다.

ABSTRACT

Mapping behavioral actions to neural activity is a fundamental goal of neuroscience. As our ability to record large neural and behavioral data increases, there is growing interest in modeling neural dynamics during adaptive behaviors to probe neural representations. In particular, neural latent embeddings can reveal underlying correlates of behavior, yet, we lack non-linear techniques that can explicitly and flexibly leverage joint behavior and neural data. Here, we fill this gap with a novel method, CEBRA, that jointly uses behavioral and neural data in a hypothesis- or discovery-driven manner to produce consistent, high-performance latent spaces. We validate its accuracy and demonstrate our tool's utility for both calcium and electrophysiology datasets, across sensory and motor tasks, and in simple or complex behaviors across species. It allows for single and multi-session datasets to be leveraged for hypothesis testing or can be used label-free. Lastly, we show that CEBRA can be used for the mapping of space, uncovering complex kinematic features, and rapid, high-accuracy decoding of natural movies from visual cortex.

연구 동기 및 목표

• 공동된 신경 및 행동 표현 학습을 위한 비선형적이고 일관되며 해석 가능한 방법의 부족을 해결하기 위해.
• 시간 구조를 유지하고 신경 임베딩의 동물 간 및 세션 간 일관성을 보장하는 차원 축소 기법을 개발하기 위해.
• 생성 모델 가정에 의존하지 않고 행동 또는 시간에 조건을 주어 가설 기반 및 탐색 기반 분석을 가능하게 하기 위해.
• 고차원 기록에서 복잡한 행동과 신경 동역학을 복원하는 성능을 향상시키기 위해, 자연스러운 환경에서도 가능하도록 하기 위해.
• 최소한의 가정으로 라벨 없음 분석 및 다중 세션, 다중 주체 데이터 통합을 지원하기 위해.

제안 방법

• CEBRA는 신경 및 행동 데이터를 저차원 잠재 공간으로 매핑하는 신경망 인코더를 훈련하기 위해 대비 학습 목표를 사용한다.
• 시간적 근접성과 행동 유사성에 기반한 양의 쌍(positive pairs)과 음의 쌍(negative pairs)을 생성하는 새로운 데이터 샘플링 기법을 도입한다.
• 행동 또는 시간과 같은 보조 변수에 조건을 주어 임베딩 공간을 조절함으로써, 지도 학습 및 자기지도 학습 모드를 모두 지원한다.
• 비선형 독립 성분 분석과 대비 학습을 결합하여 학습된 표현의 식별 가능성과 일관성을 보장한다.
• 다중 주체 간 공동 학습을 지원하고 세션 간 및 기록 모odal 간 분포 이탈을 처리할 수 있다.
• CEBRA는 데이터 증강이나 특정 생성 모델 가정이 필요 없어 일반화 능력과 유연성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 표현 학습 방법이 신경 및 행동 데이터를 공동으로 모델링하여 동물과 세션 간에 일관성 있고 해석 가능한 잠재 표현을 생성할 수 있는가?
• RQ2 CEBRA의 행동 복원 성능는 PCA, t-SNE, UMAP 및 pi-VAE와 같은 선형 및 비선형 기준 방법과 비교해 어떻게 되는가?
• RQ3 CEBRA는 알려진 행동 변수를 가진 시뮬레이션 데이터에서 참값 잠재 구조를 어느 정도 회복할 수 있는가?
• RQ4 CEBRA는 시각 피질의 신경 활동에서 자연스러운 시각 자극을 정확하게 복원할 수 있는가?
• RQ5 라벨 없음 또는 자기지도 학습 방식으로 사용할 때 CEBRA는 세션 및 주체 간에 얼마나 잘 일반화되는가?

주요 결과

• 시뮬레이션 데이터에서 CEBRA는 중앙값 재구성 R²가 0.9999를 기록하여 pi-VAE(R²=0.3522), t-SNE 및 UMAP보다 유의미하게 뛰어나며, ANOVA 후행 검정에서 p<0.001을 기록했다.
• 쥐의 해마 전기생리학 데이터에서 CEBRA-Behavior는 잠재 공간에서 좌측 이동 및 우측 이동 경로를 성공적으로 분리하여 행동 구분 능력을 입증했다.
• Allen Neuropixels 데이터셋에서 CEBRA-joint는 장면 분류의 최고 복원 정확도와 가장 낮은 평균 프레임 오차를 기록했으며, 기준 방법과의 비교에서 후행 검정에서 p값 <0.001을 기록했다.
• CEBRA는 시각 피질에서 자연스러운 영화를 고정밀도로 복원할 수 있었으며, 이는 복잡한 실제 신경 복원 작업에서의 유용성을 입증했다.
• CEBRA-joint는 모든 뉴런 수(50에서 1000까지)에서 일관된 성능를 유지했으며, 대부분의 비교에서 p값 ≤0.001로 높은 유의성 수준을 확보했다.
• CEBRA는 분포 이탈에 강건하며, 라벨이 없는 조건에서도 다수의 세션과 동물 간에 일관되고 해석 가능한 임베딩을 생성함으로써 성능를 입증했다.