[论文解读] DuSK: A Dual Structure-preserving Kernel for Supervised Tensor Learning with Applications to Neuroimages

Lifang He, Xiangnan Kong+4 more|arXiv (Cornell University)|Jul 31, 2014

Tensor decomposition and applications参考文献 18被引用 7

一句话总结

本文提出DuSK，一种用于监督张量学习的双结构保持核方法，通过双张量映射直接在张量数据上操作，以保留多路结构关系。通过利用CP分解和张量积特征空间，DuSK在fMRI分类中优于向量化和传统张量核方法，尤其在小样本情况下表现出更高的准确率和鲁棒性，显著提升了神经影像分析的性能。

ABSTRACT

With advances in data collection technologies, tensor data is assuming increasing prominence in many applications and the problem of supervised tensor learning has emerged as a topic of critical significance in the data mining and machine learning community. Conventional methods for supervised tensor learning mainly focus on learning kernels by flattening the tensor into vectors or matrices, however structural information within the tensors will be lost. In this paper, we introduce a new scheme to design structure-preserving kernels for supervised tensor learning. Specifically, we demonstrate how to leverage the naturally available structure within the tensorial representation to encode prior knowledge in the kernel. We proposed a tensor kernel that can preserve tensor structures based upon dual-tensorial mapping. The dual-tensorial mapping function can map each tensor instance in the input space to another tensor in the feature space while preserving the tensorial structure. Theoretically, our approach is an extension of the conventional kernels in the vector space to tensor space. We applied our novel kernel in conjunction with SVM to real-world tensor classification problems including brain fMRI classification for three different diseases (i.e., Alzheimer's disease, ADHD and brain damage by HIV). Extensive empirical studies demonstrate that our proposed approach can effectively boost tensor classification performances, particularly with small sample sizes.

研究动机与目标

• 解决传统监督张量学习方法将张量展平为向量所导致的固有结构信息丢失问题。
• 开发一种非线性核方法，以保留张量数据的多路结构，尤其适用于高维神经影像应用。
• 提升在医学影像中常见的小样本场景下的分类性能，例如神经疾病相关的fMRI数据。
• 通过引入双张量映射，将传统向量空间核方法扩展至张量空间，同时保持结构完整性。
• 通过基于张量的核设计引入先验结构知识，实现更准确且可解释的模型。

提出的方法

• 提出一种双张量映射函数，将每个输入张量转换为保持其多模结构的特征空间张量。
• 采用CP（CANDECOMP/PARAFAC）分解将张量分解为低秩分量，实现在结构化特征空间中的高效核计算。
• 在特征空间中利用张量积构建张量核，将传统向量核推广至张量域。
• 将核方法与SVM结合用于监督分类，实现在保持结构保真度的同时实现非线性决策边界。
• 利用张量积特征空间建模模态间交互作用，避免因矩阵展开导致的信息损失。
• 设计的核方法在理论上是向量空间核向张量空间的扩展，确保数学一致性与结构保持。

实验结果

研究问题

• RQ1 能否设计一种核方法，在监督学习过程中保留张量数据的完整多路结构，避免因向量化或展开导致的信息损失？
• RQ2 通过双张量映射保持张量结构，如何提升在小样本神经影像数据集中的分类性能？
• RQ3 引入CP分解在多大程度上提升了非线性张量核的表达能力和计算效率？
• RQ4 与传统的基于向量的核方法以及基于矩阵展开的张量核相比，所提出的DuSK核在准确率和鲁棒性方面表现如何？
• RQ5 该核方法能否在涉及复杂神经疾病的真实fMRI分类任务中有效应用？

主要发现

• 与基于向量的核方法和传统张量核方法相比，DuSK在阿尔茨海默病、注意力缺陷多动障碍（ADHD）以及HIV相关脑损伤的fMRI数据分类中显著提升了分类准确率。
• 该方法在小样本场景下表现尤为突出，传统方法在该场景下常面临过拟合问题。
• 通过双张量映射保持张量结构，可生成更紧凑且信息更丰富的表示，提升模型的可解释性与泛化能力。
• 实证结果表明，所提出的核方法优于依赖矩阵展开的现有张量核方法，后者会损失模态间的结构关系。
• CP分解与张量核的结合实现了高效的计算，并提升了在高维张量数据上的可扩展性。
• 该方法特别擅长捕捉3D MRI数据中体素间的空间相关性，有效利用了神经影像中的固有冗余性与局部性特征。