[논문 리뷰] LFADS - Latent Factor Analysis via Dynamical Systems

David Sussillo, Rafał Józefowicz외 2명|arXiv (Cornell University)|2016. 08. 22.

Neural dynamics and brain function참고 문헌 24인용 수 69

한 줄 요약

LFADS는 고차원의 단일 시험 신경 파동 자료에서 낮은 차원, 부드러운 잠재 역학을 추론하기 위해 순환 동역학 시스템을 갖춘 변분 auto-encoder를 사용하는 딥 러닝 프레임워크이다. 기존 방법보다 발화 속도와 잠재 궤적을 더 잘 복원하며, 관측되지 않은 입력과 초기 조건을 추론함으로써 시험 평균화 없이도 신경 회로의 강건한 분석을 가능하게 한다.

ABSTRACT

Neuroscience is experiencing a data revolution in which many hundreds or thousands of neurons are recorded simultaneously. Currently, there is little consensus on how such data should be analyzed. Here we introduce LFADS (Latent Factor Analysis via Dynamical Systems), a method to infer latent dynamics from simultaneously recorded, single-trial, high-dimensional neural spiking data. LFADS is a sequential model based on a variational auto-encoder. By making a dynamical systems hypothesis regarding the generation of the observed data, LFADS reduces observed spiking to a set of low-dimensional temporal factors, per-trial initial conditions, and inferred inputs. We compare LFADS to existing methods on synthetic data and show that it significantly out-performs them in inferring neural firing rates and latent dynamics.

연구 동기 및 목표

• 시험 평균화에 의존하지 않고 고차원의 단일 시험 신경 파동 자료를 분석하는 데 도전하는 것.
• 다양한 시험 동안 관측된 신경 활동을 설명하는 낮은 차원, 부드러운 잠재 역학을 추론하는 것.
• 직접 측정되지 않은 경우에도 신경 활동을 유도하는 관측되지 않은 입력을 추정하는 것.
• 잠재 요인과 초기 조건을 갖춘 비선형 동역학 시스템으로 신경 자료를 모델링하는 원칙적이고 미분 가능한 프레임워크를 제공하는 것.
• 특히 노이즈가 많거나 희소한 자료 환경에서 기존 방법보다 발화 속도와 잠재 궤적 복원 성능을 향상시키는 것.

제안 방법

• LFADS는 순환 동역학 시스템을 모델링하기 위해 순환 생성 네트워크를 갖춘 변분 auto-encoder(VAE) 아키텍처를 사용한다.
• 생성자 네트워크는 초기 조건과 추론된 입력에서 은닉 상태를 진화시켜 부드러운 발화 속도 추정치를 생성하는 게이트드 순환 단위(GRU)로 구성된다.
• 에ncoder 네트워크는 순차적-순차적 추론 모델을 사용하여 잠재 요인, 초기 조건, 입력에 대한 사후 분포를 추론한다.
• 잠재 변수에는 낮은 차원의 시간적 요인, 시험 별 초기 조건, 시간에 따라 변하는 추론된 입력이 포함되며, 모두 정규 분포 사전 분포로 모델링된다.
• 모델은 확률적 역전파를 통해 변분 하한을 최소화하도록 훈련되며, 사후 분포를 사전 분포로 정규화하기 위해 KL 발산 항목이 포함된다.
• 정규화 기법으로는 가중치 정규화, 입력 및 피드포워드 연결에 대한 드롭아웃, 순환 가중치에 대한 L2 펜alties, 기울기 클리핑이 포함되어 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 방법(예: PSTH 또는 선형 모델)에 비해, 순환 동역학을 갖춘 딥 생성 모델이 단일 시험 신경 파동 자료를 더 잘 복원할 수 있는가?
• RQ2 측정되지 않은 입력이 실제로 존재하더라도 LFADS는 그 입력이 신경 활동을 유도하는 데 얼마나 잘 추론할 수 있는가?
• RQ3 노이즈가 존재하는 상황에서 LFADS는 고차원의 신경 자료로부터 부드럽고 낮은 차원의 잠재 역학을 얼마나 잘 복원하는가?
• RQ4 동역학 시스템 가정을 포함함으로써, 피드포워드 또는 비동역학적 모델에 비해 신경 자료 표현의 일반화 능력과 해석 가능성은 얼마나 향상되는가?
• RQ5 LFADS는 시험 별 초기 조건을 공유 잠재 역학에서 효과적으로 분리할 수 있는가?

주요 결과

• LFADS는 합성 자료에서 기존 방법보다 유의미하게 발화 속도 복원 성능이 뛰어나며, 낮은 복원 오차와 더 부드러운 추론된 역학을 보였다.
• 측정되지 않은 입력이 실제로 존재하더라도 LFADS는 그 입력이 신경 활동을 유도하는 데 성공적으로 추론하였다.
• LFADS는 공통된 시험 간 역학을 포괄하는 낮은 차원, 부드러운 잠재 궤적을 생성하여 해석 가능한 신경 회로 분석을 가능하게 하였다.
• KL 스케줄링, 가중치 정규화, 기울기 클리핑과 같은 정규화 기법의 포함으로 과적합을 방지하고 일반화 성능을 향상시켰으며, 특히 초기 시험 세그먼트에서 유의미한 효과를 보였다.
• LFADS는 부드러운 역학을 학습함으로써 자주 발생하는 스파이크가 많은 고주파수 속도 추정치를 피함으로써 노이즈 및 과적합에 대한 강건성을 보였다.
• 초기 조건 추론 능력 덕분에 시험 별 코드를 제공함으로써, 시험 간 행동 또는 작업 관련 변동성 분석이 가능해졌다.