[论文解读] Cross: Efficient Low-rank Tensor Completion

Anru R. Zhang|arXiv (Cornell University)|Nov 3, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 5

一句话总结

本文提出了一种名为 Cross 的新型张量测量方案，用于高效完成低秩张量，实现了最优样本复杂度。通过有策略地采样体部和臂部条目，该方法仅需 $ r_1r_2r_3 + r_1(p_1 - r_1) + r_2(p_2 - r_2) + r_3(p_3 - r_3) $ 个无噪声测量即可恢复三阶 Tucker 秩为 $ (r_1,r_2,r_3) $ 的张量，达到信息论下限。

ABSTRACT

The completion of tensors, or high-order arrays, attracts significant attention in recent research. Current literature on tensor completion primarily focuses on recovery from a set of uniformly randomly measured entries, and the required number of measurements to achieve recovery is not guaranteed to be optimal. In addition, the implementation of some previous methods is NP-hard. In this article, we propose a framework for low-rank tensor completion via a novel tensor measurement scheme we name Cross. The proposed procedure is efficient and easy to implement. In particular, we show that a third order tensor of Tucker rank-$(r_1, r_2, r_3)$ in $p_1$-by-$p_2$-by-$p_3$ dimensional space can be recovered from as few as $r_1r_2r_3 + r_1(p_1-r_1) + r_2(p_2-r_2) + r_3(p_3-r_3)$ noiseless measurements, which matches the sample complexity lower-bound. In the case of noisy measurements, we also develop a theoretical upper bound and the matching minimax lower bound for recovery error over certain classes of low-rank tensors for the proposed procedure. The results can be further extended to fourth or higher-order tensors. Simulation studies show that the method performs well under a variety of settings. Finally, the procedure is illustrated through a real dataset in neuroimaging.

研究动机与目标

• 填补张量补全文献中关于非均匀采样下低秩张量最优样本复杂度的研究空白。
• 克服先前方法依赖均匀随机采样所导致的次优测量需求或 NP-难实现的问题。
• 开发一种实用、高效且理论上最优的张量补全框架，其样本复杂度与信息论下限完全匹配。
• 将所提方法扩展至噪声环境，并为低秩张量建立极小化最大误差率的恢复误差界。
• 在真实神经影像数据上验证该方法的有效性，并通过大量模拟实验验证其性能。

提出的方法

• 提出一种名为 Cross 的新型张量测量方案，以结构化方式采样条目：体部条目（来自三组索引的所有组合）和臂部条目（来自两组的局部索引）。
• 采用三阶段算法：(1) 通过体部和臂部测量的奇异值分解估计低秩结构，(2) 利用 SVD 对齐并旋转子空间，(3) 通过张量积运算重建完整张量。
• 提出一种基于联合矩阵化奇异值的秩估计方法，避免对真实秩的先验知识。
• 利用非一致性条件和随机矩阵理论，建立在噪声条件下恢复精度的理论保证。
• 定义调参 $ \lambda_t $ 以控制联合测量空间中信号与噪声之间的平衡。
• 应用基于旋转的变换以解耦信号与噪声分量，从而在存在噪声观测时也能实现稳定的低秩恢复。

实验结果

研究问题

• RQ1 是否存在一种张量补全方法，能够实现低秩张量所需测量数的信息论下限？
• RQ2 是否可能设计一种既高效又在样本复杂度上最优的张量测量方案，同时避免 NP-难优化？
• RQ3 在噪声测量下，所提方法的表现如何？是否实现了极小化最大误差率？
• RQ4 该框架能否推广至三阶以上的高阶张量？
• RQ5 与现有凸或非凸张量补全算法相比，该方法在样本效率和恢复精度方面是否更具优势？

主要发现

• 所提出的 Cross 方法可从恰好 $ r_1r_2r_3 + r_1(p_1 - r_1) + r_2(p_2 - r_2) + r_3(p_3 - r_3) $ 个无噪声测量中实现对三阶 Tucker 秩为 $ (r_1,r_2,r_3) $ 张量的精确恢复，与信息论下限完全一致。
• 在噪声测量下，该方法在低秩张量类上实现了极小化最大误差率的恢复误差，其上界与理论下界匹配。
• 该方法计算高效，避免了 NP-难优化，适用于大规模张量补全任务。
• 模拟研究显示其在多种设置下表现优异，包括不同张量秩和噪声水平。
• 该方法成功应用于真实神经影像数据集，展示了其在高维科学数据分析中的实际应用价值。
• 该框架可推广至四阶及更高阶张量，在保持理论最优性和计算效率的同时实现良好性能。