[论文解读] On Polynomial Time Methods for Exact Low Rank Tensor Completion

Dong Xia, Ming Yuan|arXiv (Cornell University)|Feb 22, 2017

Tensor decomposition and applications参考文献 23被引用 15

一句话总结

该论文提出了一种多项式时间算法，通过谱方法初始化的梯度下降实现精确的低秩张量补全，其样本复杂度与三阶张量的核范数最小化相匹配。结果表明，一个 $d \times d \times d$ 的多线性秩为 $(r,r,r)$ 的张量可从 $O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$ 个观测条目中以高概率恢复，样本复杂度达到当前最优水平，同时计算高效且不依赖结构假设。

ABSTRACT

In this paper, we investigate the sample size requirement for exact recovery of a high order tensor of low rank from a subset of its entries. We show that a gradient descent algorithm with initial value obtained from a spectral method can, in particular, reconstruct a ${d imes d imes d}$ tensor of multilinear ranks $(r,r,r)$ with high probability from as few as $O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$ entries. In the case when the ranks $r=O(1)$, our sample size requirement matches those for nuclear norm minimization (Yuan and Zhang, 2016a), or alternating least squares assuming orthogonal decomposability (Jain and Oh, 2014). Unlike these earlier approaches, however, our method is efficient to compute, easy to implement, and does not impose extra structures on the tensor. Numerical results are presented to further demonstrate the merits of the proposed approach.

研究动机与目标

• 弥合理论样本量要求与计算高效算法在精确低秩张量补全中的差距。
• 开发一种方法，在不施加结构假设（如正交分解性）的前提下实现紧致的样本量边界。
• 确保算法在高维、低秩张量上具有计算可处理性和可扩展性。
• 证明在最小采样条件下，使用谱初始化的梯度下降可实现精确恢复。
• 在三阶张量补全背景下，提供收敛性和样本复杂度的理论保证。

提出的方法

• 提出两阶段算法：首先，谱方法提供接近真实低秩张量的初始估计。
• 其次，在流形上应用梯度下降以利用观测条目精炼估计。
• 采用惩罚函数以确保在真实解邻域内局部凸性及驻点唯一性。
• 采用在乘积流形上的投影梯度下降框架，结合精确线搜索，以优化低秩张量因子。
• 分析黎曼梯度，并建立其范数相对于真实解测地距离的下界。
• 依赖高概率浓度不等式与谱范数界，以控制优化景观的行为。

实验结果

研究问题

• RQ1 能否设计一种多项式时间算法，在样本复杂度与核范数最小化相匹配的前提下实现精确张量补全？
• RQ2 在最小采样条件下，使用谱初始化的梯度下降是否能收敛到低秩张量补全的全局最优解？
• RQ3 该方法能否在不施加结构假设（如正交分解性）的前提下，仍保持紧致的样本量要求？
• RQ4 使用非凸、高效优化方法实现精确恢复所需的理论样本复杂度是多少？
• RQ5 与基于展开或核范数的方法相比，该方法在样本效率上表现如何？

主要发现

• 所提算法利用 $O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$ 个观测条目，可实现对 $d \times d \times d$ 张量（多线性秩为 $(r,r,r)$）的精确恢复。
• 当 $r = O(1)$ 时，样本量要求降低为 $O(d^{3/2}\text{log}^{7/2}d)$，与核范数最小化方法的最佳已知界一致。
• 该方法计算高效，避免了 NP-难的凸松弛，且无需结构约束，可实现实际应用。
• 理论分析表明，在高概率条件下，使用谱初始化的梯度下降可收敛至唯一全局最小值。
• 黎曼梯度范数被下界控制为真实解测地距离的倍数，确保收敛至正确的低秩张量。
• 当张量具有低秩与高维时，该算法仍能保持紧致的样本复杂度，适用于真实世界应用。