[论文解读] Domain Independent SVM for Transfer Learning in Brain Decoding

Shuo Zhou, Wenwen Li+2 more|arXiv (Cornell University)|Mar 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用 6

一句话总结

本文提出了一种领域无关支持向量机（DI-SVM），一种新颖的迁移学习方法，用于大脑状态解码，通过使用简化的希尔伯特-施密特独立性准则（HSIC）最小化支持向量机的经验风险以及对领域特定因素（例如实验设计、受试者身份）的依赖。在多源迁移学习任务中，DI-SVM 的准确率比现有方法高出 24% 以上，证明了其在跨受试者和实验范式下利用异构脑影像数据的有效性。

ABSTRACT

Brain imaging data are important in brain sciences yet expensive to obtain, with big volume (i.e., large p) but small sample size (i.e., small n). To tackle this problem, transfer learning is a promising direction that leverages source data to improve performance on related, target data. Most transfer learning methods focus on minimizing data distribution mismatch. However, a big challenge in brain imaging is the large domain discrepancies in cognitive experiment designs and subject-specific structures and functions. A recent transfer learning approach minimizes domain dependence to learn common features across domains, via the Hilbert-Schmidt Independence Criterion (HSIC). Inspired by this method, we propose a new Domain Independent Support Vector Machine (DI-SVM) for transfer learning in brain condition decoding. Specifically, DI-SVM simultaneously minimizes the SVM empirical risk and the dependence on domain information via a simplified HSIC. We use public data to construct 13 transfer learning tasks in brain decoding, including three interesting multi-source transfer tasks. Experiments show that DI-SVM's superior performance over eight competing methods on these tasks, particularly an improvement of more than 24% on multi-source transfer tasks.

研究动机与目标

• 解决神经影像研究中样本量小和高维脑影像数据的挑战。
• 通过在不同受试者和实验设计等异构领域之间迁移学习，提升脑状态解码性能。
• 开发一种领域无关的分类器，通过最小化对领域特定特征的依赖，实现在多样化脑影像数据集上的泛化能力。
• 通过从公开神经影像数据仓库中衍生出的 13 项迁移学习任务，全面验证领域独立性的有效性。

提出的方法

• DI-SVM 同时优化标准 SVM 的经验风险和基于简化 HSIC 的辅助领域信息（如受试者 ID、实验类型）依赖度量。
• 通过独热编码表示领域信息，并用于计算简化 HSIC，以量化特征与领域标签之间的统计依赖性。
• 该方法引入一个由超参数 λ 控制的正则化项，以平衡分类准确率与领域独立性。
• 使用组合目标训练线性或核化 SVM，使模型能够学习到既具有判别性又对领域偏移具有不变性的特征。
• 在 13 项迁移学习任务（包括多源设置）上评估该方法，使用来自 OpenNeuro 和 HCP 的真实 fMRI 数据。
• 对超参数 C（正则化）和 λ（领域依赖权重）进行了敏感性分析，结果表明当 λ > 0 时模型具有鲁棒性和更优的泛化能力。

实验结果

研究问题

• RQ1 一种显式最小化对领域特定因素依赖的迁移学习方法，是否能提升在异构数据集上的脑状态解码性能？
• RQ2 在单源和多源脑解码任务中，DI-SVM 与当前最先进的迁移学习方法相比表现如何？
• RQ3 同时结合多个源领域是否能带来优于单源的性能提升，尤其是在领域差异较大的情况下？
• RQ4 在小样本量条件下，DI-SVM 的性能对关键超参数 C 和 λ 的敏感性如何？
• RQ5 当训练数据来自不同受试者和实验设计时，通过 HSIC 测量的领域独立性在多大程度上增强了脑解码的泛化能力？

主要发现

• 在全部 13 项迁移学习任务中，DI-SVM 的总体准确率最高，优于八种对比方法，包括 TCA、JDA 和 MIDA。
• 在多源迁移任务中，DI-SVM 相较于次优方法性能提升超过 24%，凸显其在利用多源数据方面的优势。
• 表现最佳的变体——线性核 DI-SVM 在最具挑战性的多源任务（A&C → B）中达到 91.6% 的准确率，显著优于第二名方法 MIDA 的 65.4%。
• DI-SVM 对超参数变化具有鲁棒性，当 λ > 0 时分类准确率保持稳定；而当 λ = 0（等价于标准 SVM）时性能显著下降。
• 基于 HSIC 的方法（包括 MIDA 和 DI-SVM）始终优于非 HSIC 方法，证实了在脑解码中最小化领域依赖性的价值。
• 源选择显著影响性能：多源迁移并非总能提升准确率，但 DI-SVM 在所有配置中均取得最高结果，证明了其鲁棒性。