[论文解读] Kernelized Support Tensor Train Machines

Cong Chen, Kim Batselier+2 more|arXiv (Cornell University)|Jan 2, 2020

Tensor decomposition and applications参考文献 30被引用 4

一句话总结

本文提出了首个核化支持张量列车机（K-STTM），利用张量列车（TT）分解实现对多维数据的核方法。通过在特征空间中保持TT结构并允许每个张量模使用不同的核函数，K-STTM在少量样本、高维图像分类任务中表现优异，优于线性张量方法和标准SVM，在MNIST、CIFAR-10和fMRI数据集上均取得更优性能。

ABSTRACT

Tensor, a multi-dimensional data structure, has been exploited recently in the machine learning community. Traditional machine learning approaches are vector- or matrix-based, and cannot handle tensorial data directly. In this paper, we propose a tensor train (TT)-based kernel technique for the first time, and apply it to the conventional support vector machine (SVM) for image classification. Specifically, we propose a kernelized support tensor train machine that accepts tensorial input and preserves the intrinsic kernel property. The main contributions are threefold. First, we propose a TT-based feature mapping procedure that maintains the TT structure in the feature space. Second, we demonstrate two ways to construct the TT-based kernel function while considering consistency with the TT inner product and preservation of information. Third, we show that it is possible to apply different kernel functions on different data modes. In principle, our method tensorizes the standard SVM on its input structure and kernel mapping scheme. Extensive experiments are performed on real-world tensor data, which demonstrates the superiority of the proposed scheme under few-sample high-dimensional inputs.

研究动机与目标

• 解决标准SVM在直接处理张量数据方面的局限性，特别是在小样本、高维设置下的表现。
• 通过利用张量数据内在的多路结构，克服向量化方法带来的过拟合和计算效率低下问题。
• 开发一种核化框架，在保持特征空间中张量列车（TT）结构的同时，确保核一致性与信息保留。
• 支持灵活的、模特定的核函数，以捕捉不同张量模之间的异质数据特征。
• 在低数据条件下，证明核化张量方法相较于线性张量学习和基于向量的SVM具有优越性。

提出的方法

• 提出一种基于TT的特征映射，保持高维特征空间中的张量列车结构，实现非线性分类。
• 设计两种TT一致的核构造方法：一种保持内积结构，另一种最大化信息保留。
• 允许在每个张量模上独立应用不同的核函数（如RBF、多项式、线性），以利用模特定的数据特征。
• 使用基于TT的运算构建核矩阵，确保与TT分解兼容并降低计算成本。
• 将基于TT的核集成到支持向量机框架中，形成核化支持张量列车机（K-STTM）。
• 采用交替优化与低秩TT近似方法，使该方法可扩展至高维数据，同时保持模型效率。

实验结果

研究问题

• RQ1 能否成功构建基于张量列车分解的核化学习框架，以处理多维数据，同时保持结构特性和信息属性？
• RQ2 在不同张量模上应用不同核函数，是否相比在整个模上使用单一核函数能提升分类性能？
• RQ3 在小样本、高维条件下，所提出的K-STTM方法在准确率和鲁棒性方面与线性张量学习模型和标准SVM相比如何？
• RQ4 基于TT的核构造能否在保持核一致性与信息保留的同时，实现非线性分类？
• RQ5 模特定核选择对真实世界图像数据集中分类性能的影响如何？

主要发现

• 在fMRI数据集中，K-STTM-Prod在所有受试者上均达到最高分类准确率，优于SVM、3D CNN和线性张量方法。
• 在MNIST数据集上，K-STTM-Prod仅使用每类100个训练样本即达到98.2%的测试准确率，显著优于线性模型和标准SVM。
• 在CIFAR-10上，对空间模使用RBF核、对颜色模使用线性/多项式核的配置，在10组类别对中的9组上优于基准的RBF-RBF-RBF配置。
• 基于TT的核构造方法保持了信息完整性，并与TT内积保持一致，实现了稳定高效的核计算。
• 该方法在低数据条件下表现出强鲁棒性，而传统方法如DuSK和3D CNN因高维性和样本不足而失效。
• 在每个模上独立应用不同核函数带来了可测量的性能提升，验证了在张量学习中模特定建模的重要性。