[论文解读] Incoherent Tensor Norms and Their Applications in Higher Order Tensor Completion

Ming Yuan, Cun‐Hui Zhang|arXiv (Cornell University)|Jun 10, 2016

Tensor decomposition and applications参考文献 17被引用 5

一句话总结

本文引入了非一致张量范数，以改进高阶张量补全中的核范数最小化，证明了对一个秩为 r、维度为 d×⋯×d 的 k 阶张量，可通过 O((r^{(k-1)/2}d^{3/2} + r^{k-1}d)(log d)^2) 个均匀采样的条目实现完美恢复。关键贡献在于表明，显式考虑非一致性可降低样本量需求，并揭示了在标准核范数最小化之外，矩阵与高阶张量补全之间的根本差异。

ABSTRACT

In this paper, we investigate the sample size requirement for a general class of nuclear norm minimization methods for higher order tensor completion. We introduce a class of tensor norms by allowing for different levels of coherence, which allows us to leverage the incoherence of a tensor. In particular, we show that a $k$th order tensor of rank $r$ and dimension $d imes\cdots imes d$ can be recovered perfectly from as few as $O((r^{(k-1)/2}d^{3/2}+r^{k-1}d)(\log(d))^2)$ uniformly sampled entries through an appropriate incoherent nuclear norm minimization. Our results demonstrate some key differences between completing a matrix and a higher order tensor: They not only point to potential room for improvement over the usual nuclear norm minimization but also highlight the importance of explicitly accounting for incoherence, when dealing with higher order tensors.

研究动机与目标

• 解决高阶张量补全中核范数最小化方法的样本量需求问题，超越矩阵情形。
• 研究张量子空间中的非一致性如何影响低秩张量的恢复。
• 提出一种可整合不同非一致性水平的张量范数通用框架，以提升恢复性能。
• 证明非一致性在高阶张量补全中的作用比以往认识的更为显著。
• 通过引入非一致性感知范数，为使用更少采样条目实现完美张量恢复提供理论保证。

提出的方法

• 提出一类可支持不同非一致性水平的张量范数，从而更好地利用非一致张量结构。
• 基于张量的模式-j 纤维子空间 L_j(X) 的非一致性，定义 μ*-非一致性。
• 提出一种改进的核范数最小化框架，通过加权范数结构引入非一致性信息。
• 采用随机采样模型，其中条目从张量中均匀且独立地采样。
• 利用集中不等式和谱范数界，推导在新范数框架下的高概率恢复保证。
• 采用递归算子分解和矩阵集中技术，对恢复过程中的误差进行有界。

实验结果

研究问题

• RQ1 是否可利用高阶张量中的非一致性来减少实现完美张量补全所需的采样条目数量？
• RQ2 当显式建模非一致性时，张量补全的样本量需求如何随张量阶数 k、秩 r 和维度 d 变化？
• RQ3 在非一致性约束下，通过核范数最小化恢复一个 k 阶张量（秩为 r）所需的理论最小均匀采样条目数是多少？
• RQ4 标准核范数最小化方法与非一致性感知变体在高阶张量补全中的性能相比如何？
• RQ5 Tucker 秩结构和模式特定子空间的结构在多大程度上影响张量补全中的恢复保证？

主要发现

• 通过非一致核范数最小化，可从 O((r^{(k-1)/2}d^{3/2} + r^{k-1}d)(log d)^2) 个均匀采样的条目中，完美恢复一个秩为 r、维度为 d×⋯×d 的 k 阶张量。
• 对于秩为一的张量（r=1），样本量需求仅通过一个 O(1) 因子依赖于 k，表明非一致性感知方法在张量阶数增加时仍具有良好的可扩展性。
• 所提出的方法通过显式考虑非一致性，优于标准核范数最小化，显著降低了高阶场景下的样本需求。
• 理论分析表明，即使张量并非完全非一致，新范数框架下仍可实现高概率恢复。
• 结果凸显了矩阵与高阶张量补全之间的关键差异：非一致性在后者中起着更为关键的作用，提示标准核范数最小化对高阶张量可能并非最优。
• 该框架为设计更高效的、整合非一致性的张量补全近似算法提供了理论基础。