[논문 리뷰] Deep Random Splines for Point Process Intensity Estimation of Neural Population Data

Gabriel Loaiza-Ganem, Sean M. Perkins외 3명|arXiv (Cornell University)|2019. 03. 06.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 4

한 줄 요약

이 논문은 신경망을 통해 스퍼린을 매개변수화하는 딥 랜덤 스퍼린(DRS)을 소개한다. 이는 포인트 프로세스 데이터에 대한 민감도 높고, 비음수이며 부드러운 강도 함수를 가능하게 하며, 변분 오토에인코더와 새로운 순환 인코더를 통해 적용된다. 이는 GPFA, PfLDS, PP-GPFA와 비교해도 더 낮은 차원의 잠재 표현을 사용함에도 불구하고 신경성 스파이크 데이터에서 뛰어난 차원 축소 및 시험 분류 정확도를 달성한다.

ABSTRACT

Gaussian processes are the leading class of distributions on random functions, but they suffer from well known issues including difficulty scaling and inflexibility with respect to certain shape constraints (such as nonnegativity). Here we propose Deep Random Splines, a flexible class of random functions obtained by transforming Gaussian noise through a deep neural network whose output are the parameters of a spline. Unlike Gaussian processes, Deep Random Splines allow us to readily enforce shape constraints while inheriting the richness and tractability of deep generative models. We also present an observational model for point process data which uses Deep Random Splines to model the intensity function of each point process and apply it to neural population data to obtain a low-dimensional representation of spiking activity. Inference is performed via a variational autoencoder that uses a novel recurrent encoder architecture that can handle multiple point processes as input. We use a newly collected dataset where a primate completes a pedaling task, and observe better dimensionality reduction with our model than with competing alternatives.

연구 동기 및 목표

• 가우시안 프로세스가 랜덤 함수를 모델링할 때의 한계, 특히 확장성 부족과 비음수성과 같은 형태 제약 조건을 강제로 구현하기 어려움을 해결하기 위해.
• 신경 인구 데이터의 포인트 프로세스 강도를 모델링하기 위한 민감도 있고 확장 가능하며 형태 제약 조건을 갖춘 가우시안 프로세스의 대안을 개발하기 위해.
• 딥 랜덤 스퍼린을 활용한 변분 오토에인코더를 통해 신경성 스파이크 활동의 저차원 표현을 가능하게 하기 위해.
• 진짜로 연속적이고, 버킷화되지 않은 포인트 프로세스를 입력으로 처리할 수 있는 새로운 순환 인코더 아키텍처를 설계하기 위해.
• 모의 및 실제 신경 데이터 세트에서 모두 차원 축소 및 시험 분류 성능에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 딥 랜덤 스퍼린(DRS)은 표준 가우시안 노이즈를 통해 깊이 있는 신경망을 통과시켜 스퍼린 매개변수를 출력함으로써 생성되며, 이는 복잡하고 민감한 랜덤 함수를 가능하게 한다.
• 스퍼린의 비음수성을 축합된 볼록 집합의 교차로 표현함으로써 강제하며, 학습 중 이 타당 집합에 투영하기 위해 교차 투영 방법을 사용한다.
• 이 방법은 교차 투영 단계를 미분 가능하게 하여 엔드 투 엔드 백프로파게이션과 DRS 매개변수의 최적화를 가능하게 한다.
• 추론을 위해 변분 오토에인코더를 사용하며, 복수의 연속적 포인트 프로세스를 버킷화 없이 처리할 수 있는 새로운 순환 인코더를 갖춘다.
• 관측 모델은 DRS로 모델링된 강도 함수를 갖는 포아송 프로세스를 가정하며, 이는 비음수성, 부드러움, 제약 조건을 갖춘 강도 추정을 가능하게 한다.
• 추론은 인식 모델(인코더)이 스파이크 트레인을 잠재 변수로 매핑하고, 디코더가 DRS를 통해 강도 함수를 재구성하는 변분 추론을 통해 수행된다.

실험 결과

연구 질문

• RQ1 비음수성과 같은 형태 제약 조건을 동시에 충족하면서도 민감도 있고 유연한 랜덤 함수를 생성할 수 있는 딥 생성 모델을 설계할 수 있는가?
• RQ2 딥 랜덤 스퍼린은 더 낮은 차원의 표현을 사용함에도 불구하고 기존의 가우시안 프로세스 및 포인트 프로세스 모델보다 신경 인구 스파이크 활동을 더 잘 모델링할 수 있는가?
• RQ3 새로운 순환 인코더 아키텍처를 갖춘 변분 오토에인코더는 버킷화 없이 진짜로 연속적인 포인트 프로세스 데이터를 효과적으로 처리할 수 있는가?
• RQ4 강도 함수에 비음수성과 부드러움을 강제로 적용하면 신경 시험의 더 의미 있고 저차원의 잠재 표현이 도출되는가?
• RQ5 ELBO, 분류 정확도, 설명된 분산 측면에서 DRS 기반 모델은 PP-GPFA 및 PfLDS와 같은 최신 기술 수준의 대안보다 어떻게 성능을 냈는가?

주요 결과

• 모의 데이터에서 DRS-VAE는 경쟁 모델, 특히 20배 더 많은 은닉 차원을 가진 PfLDS를 포함하여 더 높은 ELBO를 달성하여 더 나은 모델 적합도와 일반화 능력을 보였다.
• 실제 운동 작업 데이터셋에서 DRS-VAE는 후행 평균에 대한 15-최근접 이웃 분류기로 23.7%의 정확도를 기록하여 무작위 추측(2.5%)과 경쟁 모델보다 뚜렷이 뛰어났다.
• 사이클링 데이터셋에서 DRS-VAE는 72.5%의 정확도를 기록하여 무작위 추측(12.5%)을 크게 뛰어넘었으며, 이는 PfLDS보다 28배나 작은 잠재 표현을 사용한 것임에도 불구하고 성능이 뛰어났다.
• 테스트 후행 평균에 대한 ANOVA에서 DRS-VAE는 총 제곱합의 58.3%를 설명했으며, 의미 있는 시험 구조를 더 잘 포착하여 PP-GPFA와 PfLDS를 모두 능가했다.
• 사이클링 데이터셋에서 PfLDS보다 낮은 ELBO를 기록했음에도 불구하고 DRS-VAE의 잠재 표현은 분류 성능과 설명된 분산 측면에서 유의미하게 뛰어나, 더 뛰어난 표현 품질을 보였다.
• 초기화 조정에 대해 강건했으며, 시간 버킷 수를 늘려도 PfLDS 성능 향상이 없었고, DRS는 안정적인 성능과 뛰어난 후행 결과를 유지했다.