[论文解读] Fourth-order Tensors with Multidimensional Discrete Transforms

Xiao-Yang Liu, Xiaodong Wang|arXiv (Cornell University)|May 3, 2017

Tensor decomposition and applications参考文献 30被引用 28

一句话总结

本文提出了一种基于多维离散变换的新型张量空间，用于四阶张量，实现了广义的SVD和QR分解，并提升了数值稳定性。与现有的tSVD和CNN方法相比，该方法在视频压缩中实现了3–10 dB的增益，在少样本人脸识别中识别率提高了10–20%。

ABSTRACT

The big data era is swamping areas including data analysis, machine/deep learning, signal processing, statistics, scientific computing, and cloud computing. The multidimensional feature and huge volume of big data put urgent requirements to the development of multilinear modeling tools and efficient algorithms. In this paper, we build a novel multilinear tensor space that supports useful algorithms such as SVD and QR, while generalizing the matrix space to fourth-order tensors was believed to be challenging. Specifically, given any multidimensional discrete transform, we show that fourth-order tensors are bilinear operators on a space of matrices. First, we take a transform-based approach to construct a new tensor space by defining a new multiplication operation and tensor products, and accordingly the analogous concepts: identity, inverse, transpose, linear combinations, and orthogonality. Secondly, we define the $\mathcal{L}$-SVD for fourth-order tensors and present an efficient algorithm, where the tensor case requires a stronger condition for unique decomposition than the matrix case. Thirdly, we define the tensor $\mathcal{L}$-QR decomposition and propose a Householder QR algorithm to avoid the catastrophic cancellation problem associated with the conventional Gram-Schmidt process. Finally, we validate our schemes on video compression and one-shot face recognition. For video compression, compared with the existing tSVD, the proposed $\mathcal{L}$-SVD achieves $3\sim 10$dB gains in RSE, while the running time is reduced by about $50\%$ and $87.5\%$, respectively. For one-shot face recognition, the recognition rate is increased by about $10\% \sim 20\%$.

研究动机与目标

• 通过基于多维离散变换定义新的乘法运算，将传统矩阵代数扩展至四阶张量。
• 建立一个具有明确定义代数运算（如单位元、逆元、转置和正交性）的封闭张量空间。
• 将SVD和QR分解推广至四阶张量，提升数值稳定性并具备唯一分解特性。
• 在真实应用场景（如视频压缩和少样本人脸识别）中验证该框架，证明其性能优于现有张量模型。

提出的方法

• 使用多维离散变换定义新的张量乘法，实现在矩阵空间上的双线性运算。
• 提出四阶张量的$σ$-SVD分解，其唯一分解条件强于矩阵SVD。
• 提出基于Householder的QR算法，避免灾难性抵消，提升数值稳定性，优于经典Gram-Schmidt方法。
• 利用变换域运算（如DCT、DWT、FFT）实现张量积和分解的高效计算。
• 通过将数据投影到低秩子空间，将$σ$-SVD和$σ$-QR应用于视频压缩和少样本人脸识别。
• 采用基于变换的框架，使张量的每个模式可使用不同的变换处理（如DCT用于周期性，DWT用于稀疏性）。

实验结果

研究问题

• RQ1 能否为四阶张量构建一个支持标准线性代数运算（如SVD和QR）的封闭张量空间？
• RQ2 如何利用多维离散变换定义一致且稳定的张量乘法运算？
• RQ3 与矩阵情形相比，四阶张量情形下$σ$-SVD在何种条件下能提供唯一分解？
• RQ4 所提出的$σ$-QR算法在张量分解中是否能优于经典Gram-Schmidt方法，实现更高的数值稳定性？
• RQ5 与tSVD和CNN相比，$σ$-SVD框架在视频压缩和少样本人脸识别中的性能提升程度如何？

主要发现

• 与现有tSVD相比，所提出的$σ$-SVD在视频压缩中实现了3–10 dB的重建误差（RSE）增益。
• 与tSVD相比，$σ$-SVD的运行时间减少了50%至87.5%，显著提升了计算效率。
• 在少样本人脸识别中，基于DWT的$σ$-SVD识别率最高达91.6%，在多个测试案例中优于CNN 13–23%。
• 在大多数配置下，基于DCT的$σ$-SVD相比tSVD和CNN将识别准确率提高了5–10%。
• 基于Householder的$σ$-QR算法成功避免了灾难性抵消，确保了比经典Gram-Schmidt更高的数值稳定性。
• 该框架支持模式特定的变换（如DCT用于周期性，DWT用于稀疏性），增强了物理可解释性，并在实际应用中提升了性能。