[论文解读] Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity

Ran Liu, Mehdi Azabou+6 more|PubMed|Nov 3, 2021

Neural dynamics and brain function参考文献 56被引用 11

一句话总结

该论文提出Swap-VAE，一种自监督生成模型，通过神经元丢弃和时间抖动增强，将神经活动解耦为与行为相关的内容（content）和与动态相关的风格（style）因素。通过结合实例特定对齐损失与beta-VAE框架，并引入BlockSwap以增强不变性，该方法在无标签条件下实现了最先进的解码准确率（在Chewie-1上达85.04%），实现了可解释的、解耦的灵长类运动皮层活动表征。

ABSTRACT

Meaningful and simplified representations of neural activity can yield insights into <i>how</i> and <i>what</i> information is being processed within a neural circuit. However, without labels, finding representations that reveal the link between the brain and behavior can be challenging. Here, we introduce a novel unsupervised approach for learning disentangled representations of neural activity called <i>Swap-VAE</i>. Our approach combines a generative modeling framework with an <i>instance-specific alignment</i> loss that tries to maximize the representational similarity between transformed views of the input (brain state). These transformed (or augmented) views are created by dropping out neurons and jittering samples in time, which intuitively should lead the network to a representation that maintains both temporal consistency and invariance to the specific neurons used to represent the neural state. Through evaluations on both synthetic data and neural recordings from hundreds of neurons in different primate brains, we show that it is possible to build representations that disentangle neural datasets along relevant latent dimensions linked to behavior.

研究动机与目标

• 为解决在无行为数据标签的情况下学习解耦且可解释的神经群体活动表征的挑战。
• 开发一种自监督方法，以捕捉神经表征中的时间一致性及对特定神经元的不变性。
• 在隔离与行为和运动动态相关的潜在因子的同时，实现真实神经活动模式的生成。
• 使用通用度量评估内容与风格因子的解耦程度，以量化表征质量。
• 探究行为任务中的准备需求是否影响神经解耦的程度。

提出的方法

• 该模型使用变分自编码器（beta-VAE），在独立的内容和风格潜在空间中重建来自两者的神经活动。
• 通过应用数据增强——神经元丢弃和时间抖动——为同一脑状态生成两个视图，以促进对特定神经元和时间偏移的不变性。
• 对两个增强视图的内容表征应用实例特定对齐损失，以最大化其相似性。
• 引入一种新型BlockSwap增强方法：将两个视图的内容变量互换，模型被训练为从交换后的内容中重建原始视图。
• 模型联合优化重建损失与对齐损失，BlockSwap损失增强了表征的解耦性与鲁棒性。
• 该方法在合成数据和两名非人灵长类动物（Chewie-1与Mihi）的真实神经记录上进行评估，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 仅使用简单增强的自监督学习能否在无标签条件下将神经活动解耦为与行为相关的（内容）和与动态相关的（风格）因子？
• RQ2 与标准对比或重建损失相比，BlockSwap增强在提升解耦性和表征质量方面有何改进？
• RQ3 神经解耦程度是否随行为任务结构（如准备需求）而变化？
• RQ4 该模型在多大程度上能生成逼真的神经活动模式，同时保持可解释的解耦表征？
• RQ5 不同的数据增强策略（空间、时间、组合）对解耦目标性能有何影响？

主要发现

• 所提出的Swap-VAE模型在Chewie-1数据集上实现了85.04%的解码准确率，显著优于基线的普通VAE与beta-VAE模型。
• 引入BlockSwap损失后性能优于基线模型，当同时使用对齐损失与BlockSwap损失时达到最高准确率。
• 当存在BlockSwap时，移除L2对齐损失对性能影响甚微，表明BlockSwap本身已提供强大的内容不变性归纳偏置。
• 结合空间与时间增强（S+T-Aug）的模型优于仅使用空间或时间增强的模型，凸显多模态增强的重要性。
• 需要在运动前经历准备延迟的Mihi，其神经解耦程度比Chewie更显著，表明准备过程可能促使更结构化的神经表征。
• 消融研究证实，重建损失、对齐损失与BlockSwap损失的所有组件均对提升解耦性与鲁棒性有贡献。