[论文解读] Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action for Post-Traumatic Epilepsy Prediction

Wenhui Cui, Haleh Akrami+3 more|PubMed|Dec 21, 2023

Neonatal and fetal brain pathology参考文献 27被引用 4

一句话总结

该论文提出元迁移自监督知识（MeTSK），一种基础模型，结合元学习与健康fMRI数据的自监督预训练，以提升在稀缺、异质性临床数据上对创伤后癫痫（PTE）预测的泛化能力。通过利用双层优化将正常特征的知识迁移到临床特征，MeTSK在未见的TBI数据集上实现了最先进的零样本性能，AUC为0.6981 ± 0.0409。

ABSTRACT

Despite the impressive advancements achieved using deep-learning for functional brain activity analysis, the heterogeneity of functional patterns and scarcity of imaging data still pose challenges in tasks such as prediction of future onset of Post-Traumatic Epilepsy (PTE) from data acquired shortly after traumatic brain injury (TBI). Foundation models pre-trained on separate large-scale datasets can improve the performance from scarce and heterogeneous datasets. For functional Magnetic Resonance Imaging (fMRI), while data may be abundantly available from healthy controls, clinical data is often scarce, limiting the ability of foundation models to identify clinically-relevant features. We overcome this limitation by introducing a novel training strategy for our foundation model by integrating meta-learning with self-supervised learning to improve the generalization from normal to clinical features. In this way we enable generalization to other downstream clinical tasks, in our case prediction of PTE. To achieve this, we perform self-supervised training on the control dataset to focus on inherent features that are not limited to a particular supervised task while applying meta-learning, which strongly improves the model's generalizability using bi-level optimization. Through experiments on neurological disorder classification tasks, we demonstrate that the proposed strategy significantly improves task performance on small-scale clinical datasets. To explore the generalizability of the foundation model in downstream applications, we then apply the model to an unseen TBI dataset for prediction of PTE using zero-shot learning. Results further demonstrated the enhanced generalizability of our foundation model.

研究动机与目标

• 解决从创伤后脑损伤（TBI）后短时间内采集的有限且高度多变的fMRI数据中预测创伤后癫痫（PTE）的挑战。
• 克服在数据不平衡情况下标准基础模型泛化能力差的问题，其中临床数据相比健康对照组较为稀缺。
• 在上游预训练过程中利用元学习，从正常fMRI模式增强向临床相关特征的泛化能力。
• 实现在下游临床任务（尤其是PTE预测）中的有效零样本和少样本适应，而无需微调。

提出的方法

• 使用大规模健康对照组fMRI数据集，通过对比自监督学习预训练基础模型，以学习与任务无关、可泛化的特征。
• 通过双层优化方案（受MAML启发）集成元学习，以学习如何从对照特征泛化到临床特征。
• 通过元目标训练模型，使其在单次更新步骤后，能在小规模临床数据集上最小化内层损失，实现对临床数据的快速适应。
• 利用所得的MeTSK模型，通过直接提取特征而无需微调，实现对未见TBI/PTE数据集的零样本推理。
• 应用线性探测和零样本特征评估，以评估在PTE分类任务中的下游性能。
• 开展领域相似性分析，量化源域（对照）与目标域（临床）之间的泛化能力，以及在训练/测试划分中各领域内部的泛化能力。

实验结果

研究问题

• RQ1 元学习能否提升自监督基础模型从健康fMRI模式到稀缺数据中临床相关特征的泛化能力？
• RQ2 在未见的TBI数据集上，MeTSK在零样本PTE预测中与标准微调方法及基线自监督模型相比表现如何？
• RQ3 将元学习与自监督学习相结合，在异质性fMRI数据中在多大程度上减少了领域偏移和类内方差？
• RQ4 MeTSK学习到的特征能否为与PTE相关的脑网络改变提供可解释的洞察？

主要发现

• MeTSK在使用未见TBI数据集进行零样本PTE预测时，取得了最高的AUC（0.6981 ± 0.0409），优于所有基线模型。
• 该模型展现出更强的跨领域泛化能力，自监督学习得到的HCP对照组数据特征与临床特征之间的相似性高于基线模型。
• 元学习显著提升了ADHD和ABIDE数据集在训练集与测试集之间的类内领域相似性，减轻了数据异质性的影响。
• 在MeTSK特征上进行线性探测的性能优于微调，表明零样本特征在分布偏移下更具鲁棒性。
• 领域相似性分析证实，MeTSK特征在领域之间以及类内均表现出更好的泛化能力，解释了其在下游任务中的优越性能。
• 该模型在无需微调的情况下实现良好泛化，凸显其在罕见神经疾病中数据稀缺场景下的高效部署潜力。