[논문 리뷰] Efficient non-conjugate Gaussian process factor models for spike count data using polynomial approximations

Stephen Keeley, David M. Zoltowski외 4명|arXiv (Cornell University)|2019. 06. 07.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 6

한 줄 요약

이 논문은 비공액성 가우시안 프로세스 요인 분석(GPFA) 모델을 스파이크 수 데이터에 적합하기 위해 다항식 근사 우도(PAL)를 소개한다. 이는 비선형 우도 항을 두 번째 차수의 수직 다항식으로 근사하여 빠르고 정확한 방법을 제공한다. PAL은 닫힌 형태의 주변 우도 평가와 빠른 최적화를 가능하게 하여 BBVI와 vLGP보다 빠르고 수렴이 빠르며, 시뮬레이션 및 실제 신경 데이터에서 이항, 포아송, 음수 이항 관측 모델에 대해 변분 추론의 효과적인 초기화를 제공한다.

ABSTRACT

Gaussian Process Factor Analysis (GPFA) has been broadly applied to the problem of identifying smooth, low-dimensional temporal structure underlying large-scale neural recordings. However, spike trains are non-Gaussian, which motivates combining GPFA with discrete observation models for binned spike count data. The drawback to this approach is that GPFA priors are not conjugate to count model likelihoods, which makes inference challenging. Here we address this obstacle by introducing a fast, approximate inference method for non-conjugate GPFA models. Our approach uses orthogonal second-order polynomials to approximate the nonlinear terms in the non-conjugate log-likelihood, resulting in a method we refer to as extit{polynomial approximate log-likelihood} (PAL) estimators. This approximation allows for accurate closed-form evaluation of marginal likelihoods and fast numerical optimization for parameters and hyperparameters. We derive PAL estimators for GPFA models with binomial, Poisson, and negative binomial observations and find the PAL estimation is highly accurate, and achieves faster convergence times compared to existing state-of-the-art inference methods. We also find that PAL hyperparameters can provide sensible initialization for black box variational inference (BBVI), which improves BBVI accuracy. We demonstrate that PAL estimators achieve fast and accurate extraction of latent structure from multi-neuron spike train data.

연구 동기 및 목표

• 비정규 분포의 스파이크 수 데이터에 적용할 때 비공액성 추론 문제를 해결하기 위해.
• 포아송, 이항, 음수 이항 우도를 가진 모델에 대해 샘플링 기반 추론 방법(예: BBVI)의 계산 비용을 줄이는 대안을 개발하기 위해.
• 수직 다항식을 사용해 비선형 로그우도 항을 근사함으로써 주변 우도의 직접 최적화를 가능하게 하기 위해.
• BBVI의 수렴성과 안정성을 향상시키기 위해 효과적인 초기 파라미터 추정치를 제공하기 위해.
• 마우스 및 영양 동물皮질의 시뮬레이션 및 실제 다중 뉴런 신경 데이터 세트에서 방법의 정확성과 속도를 입증하기 위해.

제안 방법

• 스파이크 수 관측치를 가진 비공액성 GPFA 모델의 비선형 로그우도 항을 두 번째 차수의 수직 다항식으로 근사한다.
• 다항식 근사 아래에서 잠재 변수를 통합함으로써 주변 우도에 대한 닫힌 형태의 표현식을 유도한다.
• 이항, 포아송, 음수 이항 세 가지 관측 모델에 적용하며, 각각 다른 신경 신호의 분산 특성을 반영한다.
• 수치 최적화를 통해 근사된 주변 우도를 직접 최대화함으로써 확률적 경사 추정 및 샘플링 분산을 피한다.
• PAL로 추정한 하이퍼파ram터를 BBVI의 초기값으로 사용하여 수렴성과 정확성을 향상시킨다.
• 마우스 시각 피질과 영양 동물 후두피질의 실제 신경 데이터를 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 비공액성 로그우도의 다항식 근사는 스파이크 수 데이터를 가진 GPFA 모델에서 닫힌 형태의 주변 우도 평가를 빠르게 가능하게 할 수 있는가?
• RQ2 PAL의 성능은 시뮬레이션 및 실제 신경 데이터에서 BBVI와 vLGP에 비해 수렴 속도, 정확도, 안정성 측면에서 어떻게 비교되는가?
• RQ3 PAL은 BBVI에 효과적인 초기화를 제공하여 수렴성 향상과 하이퍼파ram터 추정의 분산 감소에 기여하는가?
• RQ4 이항, 포아송, 또는 음수 이항 중 어떤 수치 모델이 실제 신경 데이터에 가장 잘 맞는가? 그리고 PAL은 각 모델에서 잠재 구조를 정확히 복원하는가?
• RQ5 PAL로 추정한 모델이 복원한 잠재 구조는 의사결정 과제에서 선택 인코딩과 같은 생물학적으로 의미 있는 신경 동역학을 반영하는가?

주요 결과

• PAL은 시뮬레이션 및 실제 신경 데이터에서 BBVI와 vLGP와 비교해 유사하거나 더 뛰어난 성능을 보이며, 수렴 시간이 크게 단축된다.
• PAL은 학습률 조정이나 몬테카를로 샘플 수 조정 없이도 직접 최적화가 가능한 닫힌 형태의 주변 우도를 제공한다.
• 이항 및 음수 이항 GPFA 모델의 경우 PAL의 성능은 BBVI와 유사했으며, 마우스 시각 피질 데이터에서 PAL이 더 높은 교차 검증 로그우도를 기록했다.
• 영양 동물 후두피질 데이터셋에서는 PAL로 초기화한 BBVI가 BBVI 자체보다 우수했으며, 특히 음수 이항 모델에서 안정성과 정확도 향상이 두드러졌다.
• 마우스 데이터에서는 이항-GPFA 모델이 가장 높은 교차 검증 로그우도를 기록했으며, 이는 일부 신경 집단에 대해 다소 간과되긴 했지만 효과적일 수 있음을 시사한다.
• 이항-GPFA 모델이 복원한 잠재 구조는 시험 시작 후 약 400ms에 분리되는 차원을 보였으며, 이는 의사결정 과정과 일치하여 선택 변수의 인코딩 가능성을 시사한다.