[论文解读] A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration

Yuetian Luo, Garvesh Raskutti+2 more|arXiv (Cornell University)|Aug 6, 2020

Tensor decomposition and applications参考文献 124被引用 8

一句话总结

本文为张量分解中的高阶正交迭代（HOOI）算法建立了精确的、确定性的分块扰动界。在一般噪声下，该研究为张量重构误差和模式-$k$奇异子空间估计提供了紧致的保证，表明HOOI具有极小最大最优性，且一步HOOI在计算成本降低的情况下实现了最优性能。

ABSTRACT

In this paper, we develop novel perturbation bounds for the high-order orthogonal iteration (HOOI) [DLDMV00b]. Under mild regularity conditions, we establish blockwise tensor perturbation bounds for HOOI with guarantees for both tensor reconstruction in Hilbert-Schmidt norm $\|\widehat{\bcT} - \bcT \|_{ HS}$ and mode-$k$ singular subspace estimation in Schatten-$q$ norm $\| \sin Θ(\widehat{\U}_k, \U_k) \|_q$ for any $q \geq 1$. We show the upper bounds of mode-$k$ singular subspace estimation are unilateral and converge linearly to a quantity characterized by blockwise errors of the perturbation and signal strength. For the tensor reconstruction error bound, we express the bound through a simple quantity $ξ$, which depends only on perturbation and the multilinear rank of the underlying signal. Rate matching deterministic lower bound for tensor reconstruction, which demonstrates the optimality of HOOI, is also provided. Furthermore, we prove that one-step HOOI (i.e., HOOI with only a single iteration) is also optimal in terms of tensor reconstruction and can be used to lower the computational cost. The perturbation results are also extended to the case that only partial modes of $\bcT$ have low-rank structure. We support our theoretical results by extensive numerical studies. Finally, we apply the novel perturbation bounds of HOOI on two applications, tensor denoising and tensor co-clustering, from machine learning and statistics, which demonstrates the superiority of the new perturbation results.

研究动机与目标

• 在一般信号加噪声模型下，为HOOI在张量分解中的非渐近、确定性扰动界提供理论分析。
• 在希尔伯特-施密特范数下建立张量重构误差的紧致界，在施加- $q$ 范数下建立模式-$k$ 奇异子空间估计的紧致界。
• 通过匹配一个确定性下界，证明HOOI在张量重构中具有极小最大最优性。
• 证明一步HOOI可实现最优重构误差，同时降低计算成本。
• 将结果扩展至部分低秩张量结构，并通过张量去噪和共聚类等应用进行验证。

提出的方法

• 通过分析交替HOOI迭代中误差的传播，推导出分块扰动界。
• 引入一个关键量 $\xi$，其表征重构误差，且仅依赖于扰动和多线性秩。
• 建立模式-$k$ 子空间估计误差的单边收敛性，其收敛项依赖于分块扰动和信号强度。
• 采用适用于张量的韦丁型扰动理论，对任意 $q \geq 1$，有 $\|\sin\Theta(\widehat{\mathbf{U}}_k, \mathbf{U}_k)\|_q$ 建立上界。
• 证明一步HOOI可达到与完整HOOI相同的最优误差率，从而实现计算效率提升。
• 将结果扩展至张量仅在部分模式上具有低秩结构的情形，同时保持理论保证。

实验结果

研究问题

• RQ1 在一般噪声下，HOOI在张量重构中的最紧致确定性扰动界是什么？
• RQ2 在分块扰动下，模式-$k$ 奇异子空间估计误差的行为如何？能否实现一致有界？
• RQ3 一步HOOI是否足以实现极小最大最优重构误差？其计算影响如何？
• RQ4 扰动界能否推广至在多个模式上具有部分低秩结构的张量？
• RQ5 理论界在张量去噪和共聚类等实际应用中的表现如何？

主要发现

• 张量重构误差满足 $\|\widehat{\mathbfcal{T}} - \mathbfcal{T}\|_{\rm HS} \leq C \xi$，其中 $\xi$ 仅依赖于扰动和多线性秩。
• 模式-$k$ 奇异子空间估计误差线性收敛至与分块扰动和信号强度成正比的量。
• 推导出与上界匹配的确定性下界，证明HOOI在张量重构中具有极小最大最优性。
• 一步HOOI可实现与完整HOOI相同的最优重构误差率，显著降低计算成本。
• 扰动界被扩展至部分低秩张量，理论有效性得以保持。
• 数值实验及在张量去噪和共聚类中的应用验证了新界的优势与实际相关性。