[论文解读] Early soft and flexible fusion of EEG and fMRI via tensor decompositions

Christos Chatzichristos, Eleftherios Kofidis+3 more|arXiv (Cornell University)|May 12, 2020

Blind Source Separation Techniques参考文献 60被引用 6

一句话总结

本文提出了一种新颖的EEG与fMRI数据早期融合框架，采用张量分解方法（特别是PARAFAC2-CPD和耦合CPD），联合建模两种模态的多维结构。与独立成分分析（ICA）和硬性耦合方法相比，该方法在源分离方面表现更优，并对受试者间血氧水平依赖反应函数（HRF）的变异性具有更强的鲁棒性；软性且灵活的耦合机制显著提升了在真实数据异质性条件下的性能表现。

ABSTRACT

Data fusion refers to the joint analysis of multiple datasets which provide complementary views of the same task. In this preprint, the problem of jointly analyzing electroencephalography (EEG) and functional Magnetic Resonance Imaging (fMRI) data is considered. Jointly analyzing EEG and fMRI measurements is highly beneficial for studying brain function because these modalities have complementary spatiotemporal resolution: EEG offers good temporal resolution while fMRI is better in its spatial resolution. The fusion methods reported so far ignore the underlying multi-way nature of the data in at least one of the modalities and/or rely on very strong assumptions about the relation of the two datasets. In this preprint, these two points are addressed by adopting for the first time tensor models in the two modalities while also exploring double coupled tensor decompositions and by following soft and flexible coupling approaches to implement the multi-modal analysis. To cope with the Event Related Potential (ERP) variability in EEG, the PARAFAC2 model is adopted. The results obtained are compared against those of parallel Independent Component Analysis (ICA) and hard coupling alternatives in both simulated and real data. Our results confirm the superiority of tensorial methods over methods based on ICA. In scenarios that do not meet the assumptions underlying hard coupling, the advantage of soft and flexible coupled decompositions is clearly demonstrated.

研究动机与目标

• 解决现有EEG-fMRI融合方法忽略多维数据结构或对数据关系施加强假设的局限性。
• 通过使用张量分解联合建模原始EEG与fMRI数据，实现早期融合，避免因特征提取步骤导致的信息损失。
• 提升对血氧水平依赖反应函数（HRF）在受试者间变异性，尤其是受试者间事件相关电位（ERP）时间延迟差异的鲁棒性。
• 展示在多模态神经影像融合中，张量分解的软性与灵活耦合相较于硬性耦合的优势。
• 基于数据特征与先验知识，提供一种系统化的耦合参数与模型结构选择框架。

提出的方法

• 使用PARAFAC2张量分解对EEG数据建模，以处理受试者特异性的时间过程与ERP变异性。
• 使用典型多向阵列分解（CPD）对fMRI数据建模，以利用其三维多维结构（空间 × 时间 × 受试者）。
• 通过在模态间链接EEG与fMRI的空间与时间模式，实现双耦合张量分解。
• 通过带正则化项（如λ）的优化实现软性与灵活耦合，允许受试者间HRF形状的差异。
• 通过约束优化与模型选择准则，整合HRF形状与ERP潜伏期等先验知识。
• 使用张量分解算法（如Tensorlab）结合交替最小二乘法与交替方向乘子法（ADMM），以保证数值稳定性和收敛性。

实验结果

研究问题

• RQ1 通过张量分解实现原始EEG与fMRI数据的早期融合，是否能提升源定位精度，相较于基于ICA或独立分析的方法？
• RQ2 在真实受试者间HRF变异性条件下，张量分解中的软性与灵活耦合性能如何，尤其是在ERP潜伏期跨受试者不一致时？
• RQ3 与传统特征级融合相比，利用EEG与fMRI数据的多维特性在多大程度上增强了分解的唯一性与鲁棒性？
• RQ4 使用替代HRF模型（如非凸或可变延迟模型）对联合EEG-fMRI分解性能有何影响？
• RQ5 如何基于数据驱动标准，有效选择耦合参数（如λ）与共享成分数量（Rc）？

主要发现

• 所提出的软性与灵活耦合张量分解方法（如PARAFAC2-CPD）在受试者间HRF变异性场景下，显著优于硬性耦合与基于ICA的方法。
• 在存在受试者间ERP时移的模拟数据中，PARAFAC2-CPD在估计源与真实源之间的皮尔逊相关系数平均值超过0.95（r > 0.95），优于耦合CPD与ICA。
• 当方法成功时，源相关性在多次运行中表现出较低的标准差，表明其具有高度可重复性与稳定性；而未耦合方法在失败时则表现出高变异性。
• 通过早期融合保留原始数据中的潜在相关性，使源分离效果优于依赖GLM预处理的方法，后者在HRF变异性下表现失败。
• 基于ICA的方法在处理重叠源时表现失败，尤其在HRF未对齐的受试者中。
• 耦合约束增强了框架的鲁棒性，提升了分解的唯一性并减少了结果变异性，即使在假设被违反时亦然。