[论文解读] A constructive arbitrary-degree Kronecker product decomposition of tensors

Kim Batselier, Ngai Wong|arXiv (Cornell University)|Jul 31, 2015

Tensor decomposition and applications参考文献 14被引用 3

一句话总结

本文提出了张量克罗内克积奇异值分解（TKPSVD），一种构造性方法，可将实数 $k$-维张量分解为任意阶数 $d$ 的 $d$ 重张量克罗内克积的线性组合。该方法通过确保每个因子继承原始张量的结构，保留了张量的结构性质（如对称性、托普利茨型和汉克尔型），从而实现具有可证明误差界的有效多分辨率近似与压缩。

ABSTRACT

We propose the tensor Kronecker product singular value decomposition~(TKPSVD) that decomposes a real $k$-way tensor $\mathcal{A}$ into a linear combination of tensor Kronecker products with an arbitrary number of $d$ factors $\mathcal{A} = \sum_{j=1}^R σ_j\, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$. We generalize the matrix Kronecker product to tensors such that each factor $\mathcal{A}^{(i)}_j$ in the TKPSVD is a $k$-way tensor. The algorithm relies on reshaping and permuting the original tensor into a $d$-way tensor, after which a polyadic decomposition with orthogonal rank-1 terms is computed. We prove that for many different structured tensors, the Kronecker product factors $\mathcal{A}^{(1)}_j,\ldots,\mathcal{A}^{(d)}_j$ are guaranteed to inherit this structure. In addition, we introduce the new notion of general symmetric tensors, which includes many different structures such as symmetric, persymmetric, centrosymmetric, Toeplitz and Hankel tensors.

研究动机与目标

• 开发一种通用的、构造性的算法，用于将 $k$-维张量分解为任意阶数 $d$ 的克罗内克积。
• 证明具有结构性质的张量（如对称、托普利茨、汉克尔及中心对称）在克罗内克积因子中保持其结构。
• 通过截断克罗内克积项与分解秩，实现多分辨率图像近似与压缩。
• 提供一种无需显式重构近似结果即可计算相对近似误差的框架。
• 提出广义对称张量的新型概念，将多种结构化张量类型统一于同一代数框架之下。

提出的方法

• 将原始 $k$-维张量重排并重新排列为 $d$-维张量，以支持高阶奇异值分解。
• 对重排后的张量应用具有正交秩-1项的多线性分解，以提取克罗内克积分量。
• 对每个因子张量 $\mathcal{A}^{(i)}_j$ 强制单位弗罗贝尼乌斯范数，并通过 $\prod_{i=1}^d n^{(i)}_r = n_r$ 确保各模式 $r$ 的维度兼容性。
• 使用 TTr1SVD 和 HOSVD 算法进行高效计算，其中 TTr1SVD 展现出更优的运行时间性能。
• 将最终分解构造为 $\mathcal{A} = \sum_{j=1}^R \sigma_j \, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$，其中 $\sigma_j$ 为奇异值。
• 证明：若原始张量 $\mathcal{A}$ 为广义对称张量（包括对称、反对称、托普利茨、汉克尔型），则每个因子 $\mathcal{A}^{(i)}_j$ 均继承相同的对称类型。

实验结果

研究问题

• RQ1 能否为任意阶数 $d$ 构造出保证因子中结构保持的张量克罗内克积分解？
• RQ2 TKPSVD 方法是否在克罗内克积分量中保持对称性、托普利茨或汉克尔形式等结构性质？
• RQ3 截断克罗内克积项与分解秩对图像近似质量与压缩率有何影响？
• RQ4 奇异值 $\sigma_j$ 与弗罗贝尼乌斯范数下的相对近似误差之间存在何种关系？
• RQ5 能否建立一个统一框架，将对称张量推广以涵盖托普利茨与汉克尔等多种结构形式？

主要发现

• 当仅保留一项并采用五阶分解时，TKPSVD 对 $4000 \times 6000 \times 3$ 图像实现了约 256 的最大压缩率。
• 在 TKPSVD 中仅保留 20 项后，PSNR 达到可接受水平（30–50 dB），对应压缩率约为 12.8。
• TTr1SVD 算法在 18 秒内完成 TKPSVD 计算，显著快于 HOSVD 的 30 秒与单张图像切片 SVD 的 1 分钟。
• 对于 $4000 \times 6000 \times 3$ 图像，1 项近似在分辨率 $250 \times 375$、$500 \times 750$ 与 $1000 \times 1500$ 下分别实现了 58 dB、58 dB 与 57 dB 的 PSNR。
• 该算法保证：若原始张量为对称、反对称、中心对称、托普利茨、汉克尔或广义对称张量，则所有克罗内克积因子均继承相同结构。
• 相对近似误差可直接通过奇异值计算：$\frac{\sqrt{\sigma_{r+1}^2 + \cdots + \sigma_R^2}}{\sqrt{\sigma_1^2 + \cdots + \sigma_R^2}}$，从而实现在无需显式重构情况下的误差控制。