[논문 리뷰] Capturing cross-session neural population variability through self-supervised identification of consistent neuron ensembles

Justin Jude, Matthew G. Perich외 2명|arXiv (Cornell University)|2022. 05. 19.

Neural dynamics and brain function인용 수 4

한 줄 요약

이 논문은 CAPTIVATE를 소개한다. CAPTIVATE는 신경 기록 세션 간의 일관된 신경 세포 집합을 자율학습 방식으로 식별하여, 세션 간 신경 활성 변동에도 불구하고 고정밀도 행동 복원을 유지하는 딥러닝 프레임워크이다. 실제 세션 간 변화를 모의하는 변형된 데이터에서 원래의 신경 세포 위치를 예측하도록 훈련된 순환 신경망(RNN)을 통해, 순차적 오토인코더가 신경 동역학을 재구성하고, 단 한 번의 훈련 세션만을 사용하여 최대 8일 후의 미사용 세션에서도 최신 기술 수준의 성능을 달성하며 행동을 복원한다.

ABSTRACT

Decoding stimuli or behaviour from recorded neural activity is a common approach to interrogate brain function in research, and an essential part of brain-computer and brain-machine interfaces. Reliable decoding even from small neural populations is possible because high dimensional neural population activity typically occupies low dimensional manifolds that are discoverable with suitable latent variable models. Over time however, drifts in activity of individual neurons and instabilities in neural recording devices can be substantial, making stable decoding over days and weeks impractical. While this drift cannot be predicted on an individual neuron level, population level variations over consecutive recording sessions such as differing sets of neurons and varying permutations of consistent neurons in recorded data may be learnable when the underlying manifold is stable over time. Classification of consistent versus unfamiliar neurons across sessions and accounting for deviations in the order of consistent recording neurons in recording datasets over sessions of recordings may then maintain decoding performance. In this work we show that self-supervised training of a deep neural network can be used to compensate for this inter-session variability. As a result, a sequential autoencoding model can maintain state-of-the-art behaviour decoding performance for completely unseen recording sessions several days into the future. Our approach only requires a single recording session for training the model, and is a step towards reliable, recalibration-free brain computer interfaces.

연구 동기 및 목표

• 뇌-컴퓨터 인터페이스에서 세션 간 신경 활성 변동으로 인해 디코더 성능이 떨어지는 문제를 해결하기 위해.
• 재훈련이나 재교정 없이도 완전히 새로운 기록 세션에서 신뢰할 수 있는 행동 복원을 가능하게 하는 방법을 개발하기 위해.
• 신경 세포 정체성, 순서, 활동 패턴의 변화에도 불구하고 세션 간 일관된 신경 세포 집합을 식별하고 활용하기 위해.
• 단일 세션에서의 자율학습이 향후 세션으로까지 일반화되어 고정밀도 행동 예측을 가능하게 함을 입증하기 위해.

제안 방법

• 원래의 기록 세션에서의 신경 세포 위치를, 실제 세션 간 변동을 모의하는 다양한 변형된 데이터 버전에서 예측하도록 자율학습 방식의 순환 신경망(RNN)을 훈련한다.
• 변형은 신경 세포 추가, 제거, 교체, 삭제, 흔들림, 재정렬을 포함하여, 주요 신경 집합 변동 원인을 반영한다.
• RNN의 출력(신경 세포 위치 임베딩)이 레이턴시 인자 분석을 통한 동적 시스템(LFADS) 오토인코더에 입력되어 원래의 신경 활동을 재구성하도록 공동 훈련 기반 구조를 사용한다.
• LFADS 인코더는 RNN의 신경 세포 위치 임베딩에 조건화되어, 명시적인 행동 감시 없이도 행동적으로 관련 있는 잠재 변수를 생성할 수 있다.
• 재구성된 잠재 변수가 훈련 세션과 미사용 세션 간에 일치하도록 보장하기 위해 정렬 손실(alignments loss)을 적용하여 복원 성능을 향상시킨다.
• 모델는 단일 세션에서 훈련되고 이후 세션에서 테스트되며, 성능 평가 기준은 미사용 시험에서의 행동 복원 정확도(R²)이다.

실험 결과

연구 질문

• RQ1 매우 큰 세션 간 변동이 존재하는 상황에서도 자율학습 모델이 기록 세션 간 일관된 신경 세포 집합을 식별할 수 있는가?
• RQ2 단일 세션에서 훈련된 모델이 최대 며칠 후의 새로운 세션에서도 높은 복원 정확도를 유지할 수 있는가?
• RQ3 신경 세포 교체, 제거, 프로브 이동 등의 세션 간 변형 중 어느 것이 복원 성능에 가장 크게 영향을 미치는가?
• RQ4 세션 간 지속적인 신경 세포의 수가 늘어날수록 모델의 성능은 어떻게 변화하는가?

주요 결과

• CAPTIVATE는 Day 0에서 훈련한 후 첫 번째 새로운 세션에서 매킨지 C에서 평균 R² = 0.84 (±0.02), 매킨지 M에서 R² = 0.86 (±0.03)의 복원 성능를 기록한다.
• 제거 실험 결과, 신경 세포 교체와 재정렬 변형이 복원 성능에 가장 큰 영향을 미치며, 제거 및 삭제 역시 상당한 기여를 한다.
• 모델는 최대 8일 간 높은 복원 정확도를 유지하지만, 이후 성능은 점차 저하되며 이는 모델의 보정 능력을 초월하는 증가하는 변동성 때문이 된다.
• 정렬 손실을 제거해도 성능 저하가 미미하다 (매킨지 C에서 R² = 0.82, 매킨지 M에서 R² = 0.85), 이는 명시적 감시 없이도 자율학습을 통한 정렬이 효과적임을 시사한다.
• 모델는 신경 세포 수가 적은 세션에도 잘 일반화되며, 일부 경우에서는 더 많은 수의 신경 세포로 훈련된 모델보다도 성능이 뛰어나, 변동하는 기록 품질에 대한 강건성을 보여준다.
• Day 0 또는 Day 11에서 훈련했을 때 성능이 대칭적이므로, 모델는 시간에 대해 정방향과 역방향으로 모두 일반화가 가능하며, 강력한 시간 불변성 특성을 지닌다.