[论文解读] Sparse Overlapping Sets Lasso for Multitask Learning and its Application to fMRI Analysis

Nikhil Rao, Christopher R. Cox+2 more|arXiv (Cornell University)|Nov 20, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用 37

一句话总结

本文提出稀疏重叠集合（SOS）Lasso，一种凸优化方法，通过在不同任务间选择相似但不完全相同的特征子集，实现多任务学习，尤其适用于脑区空间重叠的fMRI分析。该方法在保持稀疏性的同时，利用跨被试的解剖相似性，相比Lasso和组Lasso分别将交叉验证误差降低了5.8%和2.3%。

ABSTRACT

Multitask learning can be effective when features useful in one task are also useful for other tasks, and the group lasso is a standard method for selecting a common subset of features. In this paper, we are interested in a less restrictive form of multitask learning, wherein (1) the available features can be organized into subsets according to a notion of similarity and (2) features useful in one task are similar, but not necessarily identical, to the features best suited for other tasks. The main contribution of this paper is a new procedure called Sparse Overlapping Sets (SOS) lasso, a convex optimization that automatically selects similar features for related learning tasks. Error bounds are derived for SOSlasso and its consistency is established for squared error loss. In particular, SOSlasso is motivated by multi- subject fMRI studies in which functional activity is classified using brain voxels as features. Experiments with real and synthetic data demonstrate the advantages of SOSlasso compared to the lasso and group lasso.

研究动机与目标

• 为解决组Lasso在多任务学习中的局限性，即强制所有任务选择完全相同的特征，即使特征仅相似而非完全相同。
• 开发一种方法，同时捕捉组内相似性与跨任务的稀疏模式，尤其适用于高维神经影像数据。
• 在脑结构因人而异但功能区域存在空间重叠的多被试fMRI研究中，实现有效的特征选择。
• 提供一个理论基础坚实的正则化器，可推广Lasso和组Lasso，并在平方误差损失下建立一致性和误差界。
• 通过将所选体素与专家识别的功能脑区对齐，展示在fMRI数据分析中性能与可解释性的提升。

提出的方法

• SOS Lasso正则化器基于相似性（如fMRI体素中的空间邻近性）将特征分解为重叠组，并施加l1与组Lasso惩罚的组合，以鼓励组内及组间稀疏性。
• 其公式化为一个凸优化问题，选择跨任务的共同组集合，然后从这些选定组中识别任务特定的稀疏解。
• 该方法使用滑动窗口（如5×5×1个体素，2个体素位移）定义重叠组，以捕捉脑成像数据中的空间邻域。
• 通过邻近算法优化正则化路径，实现高效计算，平衡组级与个体特征选择。
• 理论分析推导出误差界，并在平方误差损失下建立SOS Lasso的一致性，将先前结果扩展至重叠组结构。
• 在fMRI数据上应用该方法，采用4折交叉验证调优正则化参数，性能通过分类准确率和ROI对齐程度评估。

实验结果

研究问题

• RQ1 是否一种选择重叠特征组的多任务学习方法，相比标准Lasso或组Lasso，能在多被试fMRI研究中提升预测准确性？
• RQ2 SOS Lasso是否能有效利用fMRI数据中跨被试的空间相似性，同时允许神经响应模式的个体差异？
• RQ3 SOS Lasso所选体素与与认知任务相关的专家识别的功能脑区（ROIs）的重合程度如何？
• RQ4 在交叉验证误差和稀疏模式方面，SOS Lasso相较于Lasso和组Lasso的性能表现如何？
• RQ5 在标准统计假设下，SOS Lasso是否具有一致性且理论基础坚实，适用于多任务回归？

主要发现

• SOS Lasso的交叉验证误差率显著降低至27.47%，远低于单个Lasso的33.3%（p = 0.004），表明预测性能更优。
• 相比组Lasso（31.1%），SOS Lasso将误差降低了2.3%，表明其更能捕捉共同解剖区域内的任务特异性稀疏模式。
• 平均而言，70.31%的SOS Lasso所选体素落在专家识别的ROIs内，显著高于Lasso（46.11%）和组Lasso（50.89%），显示更高的生物学可解释性。
• 该方法产生稀疏且聚类的解，反映了大脑的空间组织结构，避免了组Lasso导致的“紫色雾霾”现象（即在所有被试中选择相同体素）。
• 理论分析证实SOS Lasso在平方误差损失下具有一致性，并推导出误差界，确立了其统计可靠性。
• SOS Lasso成功识别出功能相关脑区，无需精确的空间标准化或被试间对齐，仅需原始粗对齐数据即可实现。