[论文解读] Non-Orthogonal Tensor Diagonalization, a Tool for Block Tensor Decompositions

Petr Tichavský, Anh Huy Phan+1 more|arXiv (Cornell University)|Feb 7, 2014

Tensor decomposition and applications被引用 4

一句话总结

本文提出了一种非正交张量对角化算法，通过使用行列式为1的幺模变换矩阵，同时沿两个或更多阶对张量进行对角化，实现了高效的块张量分解。该方法在三阶张量上每轮迭代的复杂度为 O(N⁴)，并支持累积量基独立子空间分析、张量去卷积和特征提取等应用。

ABSTRACT

This paper presents algorithms for non-orthogonal tensor diagonalization, which can be used for block tensor decomposition. The diagonalization can be performed along two or more tensor dimensions simultaneously. The method seeks for one diagonalizing matrix of determinant 1 for each mode that together convert a given tensor into a tensor that meets a block revealing condition. Perturbation analysis of the algorithm showing how small changes in the tensor translate in small changes of the diagonalization outcome is provided. The algorithm has a low computational complexity, comparable to complexity of the fastest available canonical polyadic decomposition algorithms. For example, the diagonalization of order-3 tensor of the size NxNxN has the complexity of the order O(N^4) per iteration. If the tensor has a different shape, a Tucker compression should be applied prior to the diagonalization. The algorithm can be applied in cumulant-based independent subspace decomposition or for tensor deconvolution and feature extraction using the convolutive model.

研究动机与目标

• 开发一种非正交张量对角化框架，实现在多个张量阶上的块张量分解。
• 与现有张量分解方法相比，降低计算复杂度，同时保持数值稳定性。
• 提供扰动分析，以确保对小张量扰动具有鲁棒性。
• 支持高阶统计应用，如累积量基独立子空间分析。
• 将适用范围扩展至卷积模型，用于特征提取和张量去卷积。

提出的方法

• 算法为每个张量阶计算一个幺模（行列式为1）对角化矩阵，将输入张量变换为块显式形式。
• 通过迭代优化技术，对两个或更多张量阶同时执行对角化。
• 当张量具有非立方尺寸时，利用 Tucker 压缩来降低计算负载。
• 推导出扰动分析，以量化对角化结果对输入微小变化的敏感度。
• 算法设计为计算复杂度与最快的标准多线性分解方法相当。
• 核心变换确保结果张量显现出块结构，从而促进下游分解任务。

实验结果

研究问题

• RQ1 如何高效地同时在多个张量阶上执行非正交张量对角化？
• RQ2 所提出的对角化算法的计算复杂度是多少？与现有张量分解方法相比如何？
• RQ3 对角化结果对输入张量的小扰动有多敏感？
• RQ4 该对角化框架在累积量基独立子空间分析中可如何应用？
• RQ5 该方法能否扩展至卷积模型中的张量去卷积和特征提取？

主要发现

• 所提算法在大小为 NxNxN 的三阶张量上，每轮迭代的计算复杂度达到 O(N⁴)。
• 该方法利用幺模变换矩阵，支持在两个或更多张量阶上同时对角化。
• 扰动分析表明，输入张量的微小变化仅导致对角化结果的相应小变化。
• Tucker 压缩作为非立方形状张量的预处理步骤，能有效保持效率。
• 该框架支持适用于累积量基独立子空间分析应用的块张量分解。
• 该方法适用于卷积模型中的张量去卷积和特征提取，展现出广泛的应用潜力。