[论文解读] Deep Neural Imputation: A Framework for Recovering Incomplete Brain Recordings

Sabera Talukder, Jennifer J. Sun+3 more|arXiv (Cornell University)|Jun 16, 2022

Neural dynamics and brain function被引用 10

一句话总结

本文提出深度神经插补（DNI），一种利用深度生成自编码器和线性最近邻基线方法，在多天和多参与者之间恢复缺失的多电极皮层脑电图（EEG）数据的框架。DNI 能够准确重建时间序列和频域内容，即使在高达 50% 数据缺失的情况下，也能显著提升下游神经解码性能，展现出在真实神经科学研究中的实际应用价值。

ABSTRACT

Neuroscientists and neuroengineers have long relied on multielectrode neural recordings to study the brain. However, in a typical experiment, many factors corrupt neural recordings from individual electrodes, including electrical noise, movement artifacts, and faulty manufacturing. Currently, common practice is to discard these corrupted recordings, reducing already limited data that is difficult to collect. To address this challenge, we propose Deep Neural Imputation (DNI), a framework to recover missing values from electrodes by learning from data collected across spatial locations, days, and participants. We explore our framework with a linear nearest-neighbor approach and two deep generative autoencoders, demonstrating DNI's flexibility. One deep autoencoder models participants individually, while the other extends this architecture to model many participants jointly. We evaluate our models across 12 human participants implanted with multielectrode intracranial electrocorticography arrays; participants had no explicit task and behaved naturally across hundreds of recording hours. We show that DNI recovers not only time series but also frequency content, and further establish DNI's practical value by recovering significant performance on a scientifically-relevant downstream neural decoding task.

研究动机与目标

• 为解决多电极神经记录中因电极数据损坏或缺失而不得不丢弃数据的问题，从而减少数据可用性并限制模型泛化能力。
• 开发一个统一的框架，实现在会话和个体之间的缺失数据插补，克服皮层脑电图数据集中存在的空间和时间变异性。
• 评估插补数据是否能在存在显著缺失数据的情况下，恢复下游神经科学任务（如神经解码）的性能。
• 探索在不同参与者和天数之间学习共享表征的可行性，以实现超越单一会话的泛化插补能力。
• 为神经科学中的多变量时间序列插补建立基准，特别是针对具有高个体间差异性的皮层记录。

提出的方法

• DNI 在训练期间采用自监督的掩码电极建模任务，随机掩码电极并让模型学习重建它们，类似于 BERT 风格的预训练。
• 该框架包含一个用于比较的线性最近邻基线，以及两种深度生成自编码器模型：针对个体的 CNNAE 和具有共享隐藏层及个体特异性编码器/解码器的联合参与者 M-CNNAE。
• M-CNNAE 模型使用个体特异性的编码/解码层，结合共享的隐藏层，以联合建模多个个体的数据，从而实现在不同电极配置下的泛化能力。
• 通过在测试数据中掩码电极并使用训练好的模型预测缺失值来执行插补，重建性能在时间序列和频谱内容上进行评估。
• 该方法在 12 名人类参与者身上进行评估，使用皮层脑电图（ECoG）阵列记录自然行为，覆盖数百小时的多天数据。
• 通过比较插补信号与真实信号的功率谱来评估频谱内容恢复效果，结果表明 DNI 在未显式建模频率的情况下仍能保持频谱特性。

实验结果

研究问题

• RQ1 深度神经网络能否在电极配置高度可变的情况下，有效恢复多天和多参与者之间的缺失多电极神经时间序列数据？
• RQ2 使用跨参与者的共享表征进行缺失数据插补，是否相比个体模型能提升重建准确率和泛化能力？
• RQ3 DNI 在多大程度上不仅能恢复时间序列，还能恢复神经信号的频域（频谱）内容？
• RQ4 与直接丢弃缺失数据相比，使用插补数据是否能显著提升下游神经科学任务（如神经解码）的性能？
• RQ5 当整个会话中缺失整个电极时，DNI 的性能如何随缺失数据率的增加而变化？

主要发现

• 即使在高达 50% 的电极数据缺失情况下，DNI 仍能成功恢复神经信号的时间序列和频谱内容，且无需显式频域建模即可保持频谱特性。
• 线性最近邻基线在仅 10% 数据缺失时表现良好，但在更高缺失率下，DNI 的深度自编码器模型显著优于该基线。
• 联合建模多个参与者的 M-CNNAE 模型在 DOPE-可泛化范式中达到最先进性能，即对未见参与者的数据进行插补。
• 使用插补数据时，DNI 显著提升了下游神经解码性能，证明了其在真实神经科学工作流中的实际应用价值。
• 时间序列重建准确率与频谱内容恢复之间存在正相关关系，表明时间结构隐式支持频谱保真度。
• 该框架兼容线性和非线性模型，展现出在不同神经数据分析工作流中的灵活性和广泛适用性。