[논문 리뷰] Robust alignment of cross-session recordings of neural population activity by behaviour via unsupervised domain adaptation

Justin Jude, Matthew G. Perich외 2명|arXiv (Cornell University)|2022. 02. 12.

Neural dynamics and brain function인용 수 14

한 줄 요약

이 논문은 재학습 없이도 세션 간 신경 집단 활동을 정렬할 수 있는 도메인 적응 방법인 SABLE을 제안한다. 행동 유도 분리 기반 순차적 변동 자동인코더를 사용하여 세션 간 불변 잠재 역학을 학습함으로써, 영장류 운동 피질 데이터에서 기존의 모델들과 RAVE+와 같은 기존 도메인 적응 방법보다 우수한 행동 복원 성능을 달성한다.

ABSTRACT

Neural population activity relating to behaviour is assumed to be inherently low-dimensional despite the observed high dimensionality of data recorded using multi-electrode arrays. Therefore, predicting behaviour from neural population recordings has been shown to be most effective when using latent variable models. Over time however, the activity of single neurons can drift, and different neurons will be recorded due to movement of implanted neural probes. This means that a decoder trained to predict behaviour on one day performs worse when tested on a different day. On the other hand, evidence suggests that the latent dynamics underlying behaviour may be stable even over months and years. Based on this idea, we introduce a model capable of inferring behaviourally relevant latent dynamics from previously unseen data recorded from the same animal, without any need for decoder recalibration. We show that unsupervised domain adaptation combined with a sequential variational autoencoder, trained on several sessions, can achieve good generalisation to unseen data and correctly predict behaviour where conventional methods fail. Our results further support the hypothesis that behaviour-related neural dynamics are low-dimensional and stable over time, and will enable more effective and flexible use of brain computer interface technologies.

연구 동기 및 목표

• 신경 신호의 변동으로 인해 기록 세션 간 성능이 저하되는 뇌-컴퓨터 인터페이스의 문제를 해결한다.
• 재학습 없이도 새로운 세션에 일반화하지 못하는 기존 디코더의 한계를 극복한다.
• 행동과 관련된 뉴런 활동은 시간이 지남에 따라 낮은 차원이면서 안정적이며, 개별 뉴런의 변동성에도 불구하고 지속된다는 가설을 활용한다.
• 라벨이 없는 기록과 행동 레이블만을 사용하여 미리 보지 않은 데이터에서 행동 관련 잠재 역학을 추론하는 방법을 개발한다.
• 도메인 레이블이나 세션별 캘리브레이션 없이도 세션 간 일반화를 가능하게 한다.

제안 방법

• 동일한 개체의 다수의 기록 세션에서 순차적 변동 자동인코더(SVAE)를 훈련하며, 신경 활동과 행동 레이블을 입력으로 사용한다.
• 잠재 공간이 행동 관련 요소와 세션 특화된 노이즈를 분리하도록 행동 디코더 헤드를 도입한다.
• 행동 디코더에서 유도된 기울기를 반전시켜 인코더가 비행동적 변동성을 무시하도록 유도함으로써 세션 간 불변성을 촉진한다.
• 각 세션을 도메인으로 간주하여 도메인 레이블 없이도 비지도 도메인 적응을 구현한다.
• 신경 활동 재구성과 행동 예측을 동시에 최적화하면서도 세션 간 안정적인 잠재 역학을 유지하도록 모델을 종합적으로 최적화한다.
• 장기적인 영장류 운동 피질 기록 데이터에 모델를 적용하여, 보류된 세션으로의 일반화 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 재학습이나 도메인 레이블 없이도 단일 모델이 여러 기록 세션 간 행동 예측에 일반화 가능한가?
• RQ2 신경 신호의 변동과 프로브 이동에도 불구하고 행동에 기반한 잠재 역학이 세션 간 안정적인가?
• RQ3 행동 유도 변동 자동인코더를 통한 비지도 도메인 적응이 기존 방법보다 세션 간 복원 성능을 향상시키는가?
• RQ4 훈련 중에 보지 못한 세션에서 테스트했을 때, 특히 높은 세션 간 변동성이 존재하는 상황에서 모델의 성능은 어떠한가?
• RQ5 시간에 따라 변화가 심한 시험 간 동역학 조건에서도 모델이 낮은 차원의 행동 관련 역학을 회복할 수 있는가?

주요 결과

• SABLE는 재학습 없이도 이전에 보지 못한 기록 세션으로 일반화하여 정확한 행동 복원을 달성했으며, 기존 모델이 실패하는 상황에서도 성능을 유지한다.
• 기본 RNN 및 LFADS 모델 대비 SABLE는 세션 간 복원 성능에서 뛰어난 일반화 능력을 입증했다.
• 경쟁 도메인 적응 방법인 RAVE+는 높은 시험 간 변동성으로 인해 행동 관련 구조를 포착하지 못해, 새로운 세션에서 복원 성능이 열악하다.
• SABLE의 성능은 12개의 훈련 세션에서도 포화되지 않아 더 많은 데이터로 추가 향상 가능성을 시사한다.
• 중간에 보류된 세션에서의 성능이 시퀀스의 끝부분 세션보다 뛰어나, 장기간 간격이 지날수록 성능 저하가 발생할 수 있음을 시사한다.
• 로렌츠 시스템을 활용한 시뮬레이션 실험을 통해, 무작위 변환 조건에서도 안정적인 잠재 역학을 회복할 수 있음을 확인하여, 본 방법의 강건성을 뒷받침한다.