[论文解读] Exact tensor completion with sum-of-squares

Aaron Potechin, David Steurer|arXiv (Cornell University)|Feb 21, 2017

Tensor decomposition and applications参考文献 1被引用 22

一句话总结

该论文提出了首个多项式时间的精确张量补全算法，通过减少到矩阵补全问题，将先前的样本复杂度界 $ r \cdot \tilde{O}(n^2) $ 降低。该方法利用球面上四次多项式的和方差证明（sum-of-squares certification），仅需 $ r \cdot \tilde{O}(n^{1.5}) $ 个随机观测条目，即可实现对具有 $ r $ 个非相干、正交分量的三阶张量的精确恢复。

ABSTRACT

We obtain the first polynomial-time algorithm for exact tensor completion that improves over the bound implied by reduction to matrix completion. The algorithm recovers an unknown 3-tensor with $r$ incoherent, orthogonal components in $\mathbb R^n$ from $r\cdot ilde O(n^{1.5})$ randomly observed entries of the tensor. This bound improves over the previous best one of $r\cdot ilde O(n^{2})$ by reduction to exact matrix completion. Our bound also matches the best known results for the easier problem of approximate tensor completion (Barak & Moitra, 2015). Our algorithm and analysis extends seminal results for exact matrix completion (Candes & Recht, 2009) to the tensor setting via the sum-of-squares method. The main technical challenge is to show that a small number of randomly chosen monomials are enough to construct a degree-3 polynomial with precisely planted orthogonal global optima over the sphere and that this fact can be certified within the sum-of-squares proof system.

研究动机与目标

• 开发一种多项式时间算法，实现精确张量补全，其样本复杂度低于通过约化到矩阵补全所隐含的界。
• 将此前在矩阵补全中取得成功的和方差方法（sum-of-squares method）扩展至张量设置，以实现精确恢复。
• 构建并验证一个三次多项式，其在球面上具有精确植入的正交全局最优解，且使用低阶和方差证明。
• 在精确恢复的难度更高背景下，实现与近似张量补全最佳已知结果相当的样本复杂度。
• 证明在给定假设下，$ r \cdot \tilde{O}(n^{1.5}) $ 个随机采样条目足以实现对具有非相干、正交分量的三阶张量的精确恢复。

提出的方法

• 利用和方差（SOS）证明系统构造一个证书，验证从少量观测条目中精确恢复三阶张量的可行性。
• 构造一个定义在球面上的四次多项式，其全局最优解恰好对应张量的非相干、正交分量。
• 提出一种新型张量分量分解方法，将其表示为向量 $ u_i, v_i, w_i $ 的乘积形式，通过在共享索引上求和，强制实现全局一致性，并由此引入因子 $ r $。
• 应用迹矩方法（trace moment method），通过交集模式与随机划分，对由张量条目导出的矩阵表示的谱范数进行上界估计。
• 对由超图结构分解的矩阵块 $ Y_j $ 进行递归迹幂计算，以控制矩生成的增长。
• 引入关键技巧：对边界三角形索引求和，强制各分量间全局索引一致，从而减少自由变量数量，实现更紧的范数上界。

实验结果

研究问题

• RQ1 能否在低于 $ r \cdot \tilde{O}(n^2) $ 的样本复杂度下实现精确张量补全，即低于通过约化到矩阵补全所隐含的界？
• RQ2 是否可利用和方差方法，对具有非相干、正交分量的三阶张量实现精确恢复的证书化？
• RQ3 在多项式时间算法下，保证三阶张量精确恢复所需的最少随机采样条目数是多少？
• RQ4 能否高效构造并验证四次和方差证书，以确保在张量设置下的精确恢复？
• RQ5 所提方法是否实现了与近似张量补全最佳已知界相当的样本复杂度？

主要发现

• 该算法可从 $ r \cdot \tilde{O}(n^{1.5}) $ 个随机观测条目中实现对具有 $ r $ 个非相干、正交分量的三阶张量的精确恢复。
• 该样本复杂度优于通过约化到矩阵补全所获得的先前最优界 $ r \cdot \tilde{O}(n^2) $。
• 该界与近似张量补全的最佳已知结果一致，表明精确恢复可在相近的样本效率下实现。
• 和方差方法成功通过构造一个在球面上具有精确植入全局最优解的四次多项式，实现了对精确恢复的证书化。
• 分析表明，在新采样机制下，矩阵表示的期望迹幂衰减足够快，从而支持紧致的谱范数上界。
• 该方法在给定假设下，证明了所需样本数在多项式时间算法中达到最优（仅差对数因子）。