[논문 리뷰] Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles

Martin Bjerke, Lukas Schott외 4명|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|2022. 10. 06.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 뉘앙스 곡선 특징을 뉘앙스 간에 공유하고 소프트 클러스터링을 통한 비지도 앙상블 검출을 가능하게 함으로써 잠재 다양체에서 신경 코드화 성능을 향상시키는 미분 가능하고 해석 가능한 신경 잠재변수 모델을 제안한다. 이 방법은 뛰어난 성능과 더 나은 최적화를 달성하여 실제 신경 데이터로부터 정확한 뉘앙스 곡선 예측과 함께 구분 가능한 격자세포 앙상블 및 토러이드형 잠재 구조를 성공적으로 복원한다.

ABSTRACT

Systems neuroscience relies on two complementary views of neural data, characterized by single neuron tuning curves and analysis of population activity. These two perspectives combine elegantly in neural latent variable models that constrain the relationship between latent variables and neural activity, modeled by simple tuning curve functions. This has recently been demonstrated using Gaussian processes, with applications to realistic and topologically relevant latent manifolds. Those and previous models, however, missed crucial shared coding properties of neural populations. We propose feature sharing across neural tuning curves which significantly improves performance and helps optimization. We also propose a solution to the ensemble detection problem, where different groups of neurons, i.e., ensembles, can be modulated by different latent manifolds. Achieved through a soft clustering of neurons during training, this allows for the separation of mixed neural populations in an unsupervised manner. These innovations lead to more interpretable models of neural population activity that train well and perform better even on mixtures of complex latent manifolds. Finally, we apply our method on a recently published grid cell dataset, and recover distinct ensembles, infer toroidal latents and predict neural tuning curves in a single integrated modeling framework.

연구 동기 및 목표

• 기존 신경 잠재변수 모델에서 공유 코드화 성질의 부족으로 인한 성능 및 해석 가능성 제한 문제를 해결하기 위해.
• 다른 잠재 다양체에 의해 조절되는 뉘앙스 간의 그룹을 비지도로 식별할 수 있도록 앙상블 검출 문제를 해결하기 위해.
• 파arametric 뉘앙스 곡선 디코더를 사용함으로써 생물학적 해석 가능성 유지와 동시에 종단간 미분 가능성을 확보하여 효과적인 훈련을 보장하기 위해.
• 격자세포 집단에서 관찰되는 것과 같은 복잡하고 혼합된 잠재 다양체 모델링에서 최적화 및 일반화를 향상시키기 위해.
• 실제 신경 데이터로부터 잠재 구조와 신경 뉘앙스 곡선을 동시에 회복할 수 있는 통합 프레임워크를 제공하기 위해.

제안 방법

• 심층 신경망 인코더와 미분 가능하고 파라미터화된 뉘앙스 곡선 디코더를 갖춘 변분 오토인코더 유사 아키텍처를 사용한다.
• 디코더에서 특징 공유를 도입하여, 뉘앙스 간에 뉘앙스 곡선 특징의 공통 기저를 사용함으로써 일반화 및 성능 향상을 도모한다.
• 훈련 중에 뉘앙스의 소프트 클러스터링을 구현하여 각 뉘앙스를 하나 이상의 잠재 다양체에 할당함으로써 비지도 앙상블 검출을 가능하게 한다.
• 포isson 우도와 가우시안 프로세스 기반 뉘앙스 곡선을 사용하여 잠재 변수에서 신경 막힘 활동으로의 매핑을 모델링한다.
• 예측 정확도 향상을 위해 테스트 시점에 변분 사후분포와 결정론적 추론을 융합한 하이브리드 추론을 적용한다.
• 모델 성능 최적화를 위해 500개의 구성에 대한 무작위 탐색을 사용한 하이퍼파ram터 검색을 수행한다.

실험 결과

연구 질문

• RQ1 뉘앙스 곡선 간의 특징 공유가 신경 잠재변수 모델의 성능 및 최적화에 기여하는가?
• RQ2 뉘앙스의 비지도 소프트 클러스터링이 서로 다른 잠재 다양체에 의해 조절되는 구분 가능한 앙상블 검출을 가능하게 하는가?
• RQ3 공유된 특징과 앙상블 검출의 통합이 격자세포의 토러이드형 다양체와 같은 복잡한 잠재 구조 회복에 기여하는가?
• RQ4 모델이 실제 신경 데이터로부터 뉘앙스 곡선을 공동 예측하고 잠재 구조를 고정밀도로 추론할 수 있는가?
• RQ5 테스트 시점의 하이브리드 추론 전략은 표준 변분 추론 대비 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 특징 공유가 모델 성능을 크게 향상시키며, 최고 성능를 보인 변형(fae-b)은 45개의 뉘앙스와 1000개의 시간 포인트를 가진 시뮬레이션 데이터에서 평균 음의 로그우도(NLLH)가 8267을 기록한다.
• 테스트 시점의 하이브리드 추론 전략은 모든 구성에서 뚜렷한 성능 향상을 이끌어내며, 표준 변분 추론 대비 NLLH와 지오데식 오차를 감소시킨다.
• 모델은 실제 격자세포 데이터셋에서 구분 가능한 앙상블을 성공적으로 복원하였으며, 서로 다른 공간 해상도 코드화를 가진 모듈을 식별하였다.
• 이 방법은 알려진 격자세포 조직과 일치하는 토러이드형 잠재 다양체를 추론하여 생물학적 타당성을 검증하였다.
• 하이퍼파ram터 분석 결과, 낮은 학습률, 큰 배치 크기, 감소된 KL 가중치는 성능 향상에 기여하며, 학습 분산을 증가시키면 예측 정확도가 향상됨을 확인하였다.
• 최고의 구성에서 모델은 지오데식 오차 0.05를 기록하여 잠재 공간 재구성의 높은 정확도를 보였다.