[论文解读] Matrix Product State for Feature Extraction of Higher-Order Tensors

Johann A. Bengua, Ho N. Phien+2 more|arXiv (Cornell University)|Mar 2, 2015

Tensor decomposition and applications参考文献 18被引用 4

一句话总结

该论文提出矩阵乘积态（MPS）分解作为一种计算高效的高阶张量特征提取方法，通过连续奇异值分解（SVD）提取阶数最多为三的核心张量。与高阶正交迭代（HOOI）相比，MPS在张量分类任务中实现了更优的分类性能，同时显著降低了特征空间大小和计算成本。

ABSTRACT

This paper introduces matrix product state (MPS) decomposition as a computational tool for extracting features of multidimensional data represented by higher-order tensors. Regardless of tensor order, MPS extracts its relevant features to the so-called core tensor of maximum order three which can be used for classification. Mainly based on a successive sequence of singular value decompositions (SVD), MPS is quite simple to implement without any recursive procedure needed for optimizing local tensors. Thus, it leads to substantial computational savings compared to other tensor feature extraction methods such as higher-order orthogonal iteration (HOOI) underlying the Tucker decomposition (TD). Benchmark results show that MPS can reduce significantly the feature space of data while achieving better classification performance compared to HOOI.

研究动机与目标

• 解决张量分解（TD）和HOOI在高阶张量上因NP难优化和核心张量维度过大导致的计算瓶颈。
• 开发一种降维技术，在最小化计算成本的同时保留高阶张量的关键特征。
• 通过非递归的SVD方法从多维数据中提取低阶核心张量，实现高效的张量分类。
• 证明MPS在包括图像和EEG信号在内的多种数据集上，相较于HOOI在分类成功率和特征空间压缩方面均表现更优。

提出的方法

• 应用矩阵乘积态（MPS）分解，通过连续SVD将高阶张量表示为混合-典范形式。
• 从原始张量中提取阶数最大为三的核心张量，以保留关键特征并降低维度。
• 利用通过顺序SVD获得的正交公共因子张量，避免HOOI所需的递归优化过程。
• 将核心张量截断为更小的尺寸 $Q \times \tilde{\Delta}_1 \times \tilde{\Delta}_2$（或 $Q \times \tilde{\Delta}_1 \times \tilde{\Delta}_2 \times \tilde{\Delta}_3$），其中 $\tilde{\Delta}_l < \Delta_l$，以用于分类。
• 在压缩后的核心张量上应用标准分类器（如KNN-1和线性判别分析LDA）进行分类。
• 确保训练集和测试集之间保持一致的截断水平 $\tilde{\Delta}_l$，以保证评估的公平性。

实验结果

研究问题

• RQ1 与HOOI相比，MPS分解是否能更有效地从高阶张量中提取判别性特征，同时降低计算复杂度？
• RQ2 在使用相同数量特征的情况下，MPS是否能实现比HOOI更高的分类成功率？
• RQ3 在COIL-100、EYFB和BCI EEG数据等多样化数据集上，MPS的性能与HOOI相比如何？
• RQ4 MPS基于SVD的非递归结构在多大程度上降低了计算成本，同时不损失分类准确性？
• RQ5 当核心张量被显著压缩时，MPS是否仍能保持高分类性能？

主要发现

• 在EYFB数据集上，MPS使用LDA实现97.32±0.89的分类成功率（CSR），在所有测试阈值下均优于HOOI。
• 在COIL-100数据集上，对于所有阈值 $\epsilon$ 和两种分类器（KNN-1与LDA），MPS的CSR始终高于HOOI。
• 在BCIJ EEG数据集上，对于所有测试的 $\Delta$ 值（8至14），MPS在更小的核心张量尺寸下均优于HOOI。
• MPS在保持或提升分类准确率的同时，比HOOI更有效地压缩了特征空间，尤其在核心张量被截断时表现更优。
• 由于无需递归优化，仅依赖连续SVD，MPS实现了显著的计算成本节省。
• 即使在最小阈值 $\epsilon$ 下，MPS仍保持与HOOI在较大 $\epsilon$ 下相当的高性能，表明其具有鲁棒性和高效性。