[논문 리뷰] Non-parametric generalized linear model

Matthew Dowling, Yuan Zhao외 1명|arXiv (Cornell University)|2020. 09. 02.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 4

한 줄 요약

이 논문은 신경 시냅스 신호 기록 분석에서 시간 필터와 하이퍼파ram터를 동시에 추론하기 위해 희박한 변분 가우시안 프로세스를 사용하는 비모수적 일반선형모형(NPGLM)을 제안한다. 이는 수작업으로 기저 함수를 선택할 필요 없이, 계산 효율성과 강건한 일반화 능력을 확보하면서도 자동으로 필터 지속 시간과 형태를 학습한다. 시뮬레이션 및 실제 망막 데이터에서 뛰어난 성능을 보이며, 특히 낮은 희박성 또는 소규모 데이터 환경에서 모델의 일반화 능력과 강건성을 향상시킨다.

ABSTRACT

A fundamental problem in statistical neuroscience is to model how neurons encode information by analyzing electrophysiological recordings. A popular and widely-used approach is to fit the spike trains with an autoregressive point process model. These models are characterized by a set of convolutional temporal filters, whose subsequent analysis can help reveal how neurons encode stimuli, interact with each other, and process information. In practice a sufficiently rich but small ensemble of temporal basis functions needs to be chosen to parameterize the filters. However, obtaining a satisfactory fit often requires burdensome model selection and fine tuning the form of the basis functions and their temporal span. In this paper we propose a nonparametric approach for jointly inferring the filters and hyperparameters using the Gaussian process framework. Our method is computationally efficient taking advantage of the sparse variational approximation while being flexible and rich enough to characterize arbitrary filters in continuous time lag. Moreover, our method automatically learns the temporal span of the filter. For the particular application in neuroscience, we designed priors for stimulus and history filters useful for the spike trains. We compare and validate our method on simulated and real neural spike train data.

연구 동기 및 목표

• 신경 시냅스 신호 기록 분석을 위한 일반선형모형(GLM)에서 수작업 기저 함수 선택과 하이퍼파ram터 튜닝의 부담을 해결하기 위해.
• 가우시안 프로세스를 사용하여 시간 필터와 하이퍼파ram터를 동시에 추론하는 비모수적 베이지안 접근법을 개발하기 위해.
• 사전에 기저 함수를 설정하지 않고도 필터의 시간 범위와 매끄러움을 자동으로 학습할 수 있도록 하기 위해.
• 특히 희박성 또는 소규모 데이터 환경에서 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 신경과학 응용 분야에서 전통적인 기저 함수 기반 GLM에 대한 계산 효율적인 대안을 제공하기 위해.

제안 방법

• 시간 필터를 평균 함수와 커널 함수를 가진 가우시안 프로세스(GP)의 샘플 경로로 모델링하여 연속적인 시간 지연에 대한 비모수적 추론을 가능하게 한다.
• 유도 점을 사용한 희박한 변분 근사 방법을 적용하여 계산 비용을 O(N³)에서 O(M²N)으로 감소시키며, 여기서 M ≪ N이다.
• GP 하이퍼파ram터와 유도 점 위치를 동시에 최적화하기 위해 공동 변분 추론 프레임워크를 활용한다.
• 신호와 이력 필터에 대해 신경 신호의 특성에 맞게 구조화된 사전 분포를 적용하여 해석 가능성과 성능을 향상시킨다.
• 검증을 위해 적합한 모델에서 합성 스파이크 트레인을 생성하기 위해 조상 샘플링(ancestral sampling)을 적용한다.
• 시험 및 반복 자극에 대한 모델 적합도와 일반화 능력을 평가하기 위해 발화율의 정규화된 로그우도와 R²를 사용한다.

실험 결과

연구 질문

• RQ1 비모수적 GP 기반 접근법이 기저 함수 기반 GLM보다 신경 시냅스 신호 기록 데이터를 모델링하는 데에서 성능이 뛰어나게 되는가?
• RQ2 사전에 기저 함수를 설정하지 않고도 이론적 필터의 시간 범위와 형태를 자동으로 추론할 수 있는가?
• RQ3 데이터가 희박하거나 노이즈가 많을 경우 NPGLM의 일반화 능력은 어떻게 되는가?
• RQ4 희박한 변분 추론을 사용함으로써 정확도를 유지하면서 계산 비용을 줄일 수 있는가?
• RQ5 표준 기저 함수가 표현하지 못하는 비연속적이거나 복잡한 필터 형태를 모델이 포착할 수 있는가?

주요 결과

• NPGLM는 여섯 개의 망막 신경 세포에서 시험 및 반복 자극에 대해 정규화된 로그우도에서 GLM-MLE와 GLM-ARD를 일관되게 능가했다.
• 평균적으로 NPGLM는 정규화된 로그우도와 발화율 예측의 R²가 더 높았으며, 특히 반복 자극에서 더 뛰어난 일반화 능력을 보였다.
• 신경 세포 2의 경우, 비연속적인 행동을 보이는 이력 필터의 급격한 10 ms 상승을 GLM-ARD보다 더 잘 포착했다.
• 모델은 기존 GLM 결과와 일치하는 필터를 성공적으로 추론했으며, 기저 함수 잘못 선택으로 인한 과적합 또는 과소적합 등의 문제를 피했다.
• 단지 15~25개의 유도 점만으로도 NPGLM는 강력한 사후 추론과 안정적인 예측을 생성하여 계산 효율성을 입증했다.
• NPGLM에서 유도된 조상 샘플링을 통해 생성된 스파이크 트레인은 레이저 플롯, 간격 간격 분포, 평균 발화율에서 실제 데이터와 매우 유사한 결과를 보였다.