[论文解读] Capturing cross-session neural population variability through self-supervised identification of consistent neuron ensembles

Justin Jude, Matthew G. Perich+2 more|arXiv (Cornell University)|May 19, 2022

Neural dynamics and brain function被引用 4

一句话总结

本文提出了CAPTIVATE，一种自监督深度学习框架，能够识别神经记录会话之间的一致性神经元集合，从而在存在会话间神经可变性的情况下仍保持高精度的行为解码。通过训练循环神经网络（RNN）从模拟真实会话间变化（如神经元丢失、替换和探针位移）的扰动数据中预测原始神经元位置，该模型使序列自编码器能够重建神经动力学并实现对未见会话的高精度行为解码，最远可达到8天后，且仅需单次训练会话。

ABSTRACT

Decoding stimuli or behaviour from recorded neural activity is a common approach to interrogate brain function in research, and an essential part of brain-computer and brain-machine interfaces. Reliable decoding even from small neural populations is possible because high dimensional neural population activity typically occupies low dimensional manifolds that are discoverable with suitable latent variable models. Over time however, drifts in activity of individual neurons and instabilities in neural recording devices can be substantial, making stable decoding over days and weeks impractical. While this drift cannot be predicted on an individual neuron level, population level variations over consecutive recording sessions such as differing sets of neurons and varying permutations of consistent neurons in recorded data may be learnable when the underlying manifold is stable over time. Classification of consistent versus unfamiliar neurons across sessions and accounting for deviations in the order of consistent recording neurons in recording datasets over sessions of recordings may then maintain decoding performance. In this work we show that self-supervised training of a deep neural network can be used to compensate for this inter-session variability. As a result, a sequential autoencoding model can maintain state-of-the-art behaviour decoding performance for completely unseen recording sessions several days into the future. Our approach only requires a single recording session for training the model, and is a step towards reliable, recalibration-free brain computer interfaces.

研究动机与目标

• 为解决脑机接口中因神经元漂移和记录不稳定性导致的会话间神经可变性问题，该问题会随时间导致解码器性能下降。
• 开发一种方法，使在完全未见过的记录会话中实现可靠的行为解码，而无需重新训练或重新校准。
• 识别并利用尽管神经元身份、顺序和活动模式发生变化，但在会话间保持一致的神经元集合。
• 证明仅在单一会话上进行自监督学习的模型，可泛化至未来会话并实现高精度的行为解码。

提出的方法

• 训练一个自监督的循环神经网络（RNN），从同一试验的多个扰动版本中预测记录会话中的原始神经元位置，以模拟真实的会话间可变性。
• 扰动包括添加、删除、替换、删除、抖动和重新排序神经元，反映神经集合可变性的关键来源。
• 采用联合训练方案，将RNN的输出（神经元位置嵌入）输入到基于动态系统的潜在因子分析（LFADS）自编码器中，以重建原始神经活动。
• LFADS编码器依赖于RNN的神经元位置嵌入，使其即使在缺乏显式行为监督的情况下，也能生成与行为相关的潜在变量。
• 应用对齐损失，以确保来自未见会话的重建潜在变量与训练会话的潜在变量对齐，从而提升解码性能。
• 模型在单一会话上进行训练，并在后续会话上进行测试，性能通过未见试验的行为解码准确率（R²）进行评估。

实验结果

研究问题

• RQ1 自监督模型能否在存在显著会话间可变性的情况下，识别出跨神经记录会话的一致性神经元集合？
• RQ2 在单一会话上训练的模型，能在多大程度上在数天后未见会话中保持高精度的行为预测解码？
• RQ3 哪些类型的会话间扰动（如神经元替换、删除或探针位移）对解码性能的损害最大？
• RQ4 模型性能如何随会话间持续存在的神经元数量而变化？

主要发现

• 在对第0天的会话进行训练后，CAPTIVATE在Monkey C上对首次未见会话的平均解码性能达到R² = 0.84（±0.02），在Monkey M上达到R² = 0.86（±0.03）。
• 消融研究显示，神经元替换和重新排序扰动对解码性能的影响最大，而删除和丢失也显著降低了性能。
• 模型在长达8天内保持高解码精度，之后性能因可变性超出模型补偿能力而逐渐下降。
• 移除对齐损失仅轻微降低性能（在Monkey C上降至R² = 0.82，在Monkey M上降至R² = 0.85），表明自监督对齐在无需显式监督的情况下已具有效性。
• 模型对神经元数量较少的会话泛化良好，甚至在某些情况下优于在更大神经元数量上训练的模型，显示出对记录质量波动的鲁棒性。
• 在第0天或第11天进行训练时性能对称，表明模型具备双向时间泛化能力，暗示其具有强大的时间不变性。