[论文解读] FingerFlex: Inferring Finger Trajectories from ECoG signals

Vladislav Lomtev, A. V. Kovalev+1 more|arXiv (Cornell University)|Oct 23, 2022

EEG and Brain-Computer Interfaces被引用 4

一句话总结

FingerFlex 提出了一种带有跳跃连接的卷积编码器-解码器神经网络，用于从皮层脑电图（ECoG）信号中解码连续手指轨迹运动。其在 BCI 竞赛 IV 数据集 4 上实现了 0.74 的最先进相关系数，展示了无需手动特征工程或为静息与运动状态分别建模的高精度、实时神经解码能力。

ABSTRACT

Motor brain-computer interface (BCI) development relies critically on neural time series decoding algorithms. Recent advances in deep learning architectures allow for automatic feature selection to approximate higher-order dependencies in data. This article presents the FingerFlex model - a convolutional encoder-decoder architecture adapted for finger movement regression on electrocorticographic (ECoG) brain data. State-of-the-art performance was achieved on a publicly available BCI competition IV dataset 4 with a correlation coefficient between true and predicted trajectories up to 0.74. The presented method provides the opportunity for developing fully-functional high-precision cortical motor brain-computer interfaces.

研究动机与目标

• 开发一种深度学习模型，以高精度从 ECoG 信号中解码连续手指屈曲轨迹。
• 通过端到端学习相关神经模式，消除对手动特征提取的需求。
• 构建一种轻量化、支持实时运行的模型，仅依赖当前时间窗口，无需依赖未来或过去数据。
• 在 BCI 竞赛 IV 数据集 4 上，提升现有方法（尤其是传统机器学习与先前深度学习方法）的性能。
• 实现个体化、高精度的运动解码，且训练数据量极少（每位受试者仅需 6.5 分钟）。

提出的方法

• 采用类似 U-Net 的编码器-解码器架构，结合步长大于 1 的卷积与转置卷积，将 ECoG 时间序列映射为预测的手指轨迹。
• 在编码器与解码器模块之间引入跳跃连接，以保留空间与时间分辨率，并改善梯度流动。
• 通过基于小波的卷积滤波器，处理 ECoG 信号在生理相关频带（如 β、γ、高 γ）上的时频表示。
• 提出一种新型损失函数，结合均方误差（MSE）与时间一致性正则化，以增强回归的稳定性和准确性。
• 模型在原始 ECoG 时间序列上进行端到端训练，避免手工特征工程，并仅使用固定长度的输入窗口，无前瞻或反馈机制。
• 发现时间延迟、频带范围、初始学习率与模型深度等超参数在不同受试者间表现稳定，可固定用于通用场景。

实验结果

研究问题

• RQ1 带有跳跃连接的深度编码器-解码器架构是否能在从 ECoG 信号解码连续手指轨迹方面，优于传统机器学习与先前深度学习模型？
• RQ2 在原始 ECoG 数据上端到端训练的模型，能在多大程度上实现高解码精度，而无需手动特征工程？
• RQ3 所提出的模型是否能在不单独建模或切换静息与运动状态的情况下实现泛化？
• RQ4 关键超参数（如时间延迟、频带范围）在不同受试者与数据集间是否稳定？
• RQ5 模型是否能在极小训练数据量下实现高性能，从而支持临床实际部署？

主要发现

• FingerFlex 模型在 BCI 竞赛 IV 数据集 4 上，预测与真实手指轨迹之间的相关系数最高达到 0.74，代表了当前最先进性能。
• 该模型在性能上优于传统机器学习方法及先前的深度学习方法，包括基于 LSTM 和全连接网络的模型。
• 模型在仅使用每位受试者 6.5 分钟训练数据的情况下，仍表现出稳健性能，表明其具有极高的数据效率。
• 采用结合 MSE 与时间正则化的混合损失函数，显著提升了预测的稳定性和准确性。
• 模型参数量轻（约 60 万个），且由于其自回归、仅依赖当前窗口的预测机制，适合实时推理。
• 模型的超参数（包括时间延迟与频带范围）在不同受试者间表现稳定，支持固定配置使用。