[논문 리뷰] Deep inference of latent dynamics with spatio-temporal super-resolution using selective backpropagation through time

Zhu Feng, Andrew R. Sedler외 6명|arXiv (Cornell University)|2021. 10. 29.

Neural dynamics and brain function참고 문헌 56인용 수 5

한 줄 요약

이 논문은 선택적 시간을 거쳐 역전파하는(SBTT) 새로운 학습 방법을 소개한다. 이 방법은 희박하거나 비정규적인 간격으로 샘플링된 시계열 데이터에서 잠재 신경 동역학을 추론할 수 있도록 하는 딥 생성 모델을 가능하게 한다. SBTT는 낮은 차원의 집단 동역학을 활용하여 전기생리학 및 이중광자 칼슘 이미징에서 정밀한 시공간 초해상도를 달성한다. 이는 고정밀도 추론과 함께 최대 80%의 데이터 희박성에서도 가능하며, 최신 기술을 뛰어넘는 행동 해석 성능을 향상시킨다.

ABSTRACT

Modern neural interfaces allow access to the activity of up to a million neurons within brain circuits. However, bandwidth limits often create a trade-off between greater spatial sampling (more channels or pixels) and the temporal frequency of sampling. Here we demonstrate that it is possible to obtain spatio-temporal super-resolution in neuronal time series by exploiting relationships among neurons, embedded in latent low-dimensional population dynamics. Our novel neural network training strategy, selective backpropagation through time (SBTT), enables learning of deep generative models of latent dynamics from data in which the set of observed variables changes at each time step. The resulting models are able to infer activity for missing samples by combining observations with learned latent dynamics. We test SBTT applied to sequential autoencoders and demonstrate more efficient and higher-fidelity characterization of neural population dynamics in electrophysiological and calcium imaging data. In electrophysiology, SBTT enables accurate inference of neuronal population dynamics with lower interface bandwidths, providing an avenue to significant power savings for implanted neuroelectronic interfaces. In applications to two-photon calcium imaging, SBTT accurately uncovers high-frequency temporal structure underlying neural population activity, substantially outperforming the current state-of-the-art. Finally, we demonstrate that performance could be further improved by using limited, high-bandwidth sampling to pretrain dynamics models, and then using SBTT to adapt these models for sparsely-sampled data.

연구 동기 및 목표

• 고밀도 뉴런 수와 제한된 시간 해상도 사이의 상충 관계를 해결하기 위해 뇌-컴퓨터 인터페이스에서의 대역폭 대 시간 샘플링 간의 상충 문제를 해결한다.
• 모든 뉴런이 매 시간 단계에서 관측되지 않는 비정규적 또는 희박한 샘플링 데이터로부터 신경 집단 동역학을 정확하게 추론할 수 있는 방법을 개발한다.
• 낮은 차원의 잠재 동역학을 활용하여 전기생리학 및 칼슘 이미징에서 신경 데이터의 정밀도와 효율성을 향상시킨다.
• 변동하는 기록 대역폭을 적응적으로 모델링하여 에너지 효율적이고 고용량의 신경 인터페이스를 가능하게 한다.

제안 방법

• SBTT는 시간 단계에 따라 관측 변수의 집합이 변화하는 경우에도 순환 신경망에서 시간을 거쳐 역전파를 가능하게 하는 학습 전략이다.
• 이 방법은 순차적 오토인코더를 사용하여 잠재 동역학을 모델링하며, 인코더는 관측된 희박한 신경 활동을 낮은 차원의 잠재 상태로 매핑한다.
• SBTT는 각 시간 단계에서 관측된 뉴런들만을 대상으로 기울기 역전파를 선택적으로 수행함으로써, 관측 패턴이 변동하더라도 엔드 투 엔드 학습이 가능하다.
• 이 방법은 LFADS 기반 모델에 적용되어 잠재 동역학의 동시 추론과 누락된 시간 샘플의 복원을 가능하게 한다.
• 기존의 전부 데이터로 학습된 모델을 희박한 데이터로 재학습함으로써 전이 학습을 지원하며, 높은 희박성 수준에서 성능 향상을 이룬다.
• 이중광자 이미징의 알려진 샘플링 시간과 간헐적인 전기생리학 데이터를 활용하여, 화면 주기보다 높은 주파수의 동역학을 복원한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 희박하게 샘플링된 신경 시계열 데이터로부터 고정밀도의 잠재 신경 동역학을 추론할 수 있는가?
• RQ2 선택적 시간을 거쳐 역전파하는(SBTT) 방법은 표준 희박 데이터 학습 대비 잠재 동역학 추론 정확도를 어떻게 향상시키는가?
• RQ3 SBTT는 칼슘 이미징 데이터에서 화면 주기 이하의 고주파 시간적 구조를 어느 정도 회복할 수 있는가?
• RQ4 사전 학습된 동역학 모델을 SBTT를 사용해 희박한 데이터로 효과적으로 미세조정할 수 있는가? 이는 향상된 해석 성능를 달성하는가?
• RQ5 SBTT는 이식 가능한 신경 인터페이스에서 에너지 효율성과 대역폭 사용에 어떤 영향을 미치는가?

주요 결과

• SBTT는 훈련 데이터의 최대 80%가 마스킹된 상태에서도 정확한 신경 집단 동역학 추론을 가능하게 하며, 극한의 희박성에 대한 강건성을 입증한다.
• 이중광자 칼슘 이미징 데이터에서 SBTT는 화면 주기보다 높은 주파수의 시간적 구조를 회복하며, 최신 기술을 뛰어넘는 성능을 보인다.
• 실제 전기생리학 데이터에서 SBTT는 낮은 인터페이스 대역폭으로도 손가락 이동 속도를 정확하게 해석할 수 있으며, 이식 가능한 장치의 에너지 절감 잠재력을 시사한다.
• 전체 데이터로 학습된 모델의 초기 레이어를 희박한 데이터로 재학습함으로써 SBTT는 높은 희박성 수준에서 희박한 데이터로만 학습된 모델보다 해석 성능을 뛰어나게 한다.
• 이 방법은 더 정밀한 잠재 동역학 복원과 향상된 행동 해석 성능를 달성하여, 합성 및 실제 신경 데이터 모두에서 실용성을 확인한다.