[论文解读] Fast and robust tensor decomposition with applications to dictionary learning

Tselil Schramm, David Steurer|arXiv (Cornell University)|Jun 27, 2017

Tensor decomposition and applications参考文献 1被引用 11

一句话总结

本文提出了一类基于谱的快速张量分解算法，其鲁棒性保证与之前仅能通过缓慢的半定规划实现的平方和（SOS）方法相当，同时运行时间接近线性。该方法在常数谱范数误差下对具有正交分量的四阶张量进行分解，输入大小为 $n^4$ 时运行时间为 $n^5$，并可在稀疏性和相关性假设下实现实际的字典学习。

ABSTRACT

We develop fast spectral algorithms for tensor decomposition that match the robustness guarantees of the best known polynomial-time algorithms for this problem based on the sum-of-squares (SOS) semidefinite programming hierarchy. Our algorithms can decompose a 4-tensor with $n$-dimensional orthonormal components in the presence of error with constant spectral norm (when viewed as an $n^2$-by-$n^2$ matrix). The running time is $n^5$ which is close to linear in the input size $n^4$. We also obtain algorithms with similar running time to learn sparsely-used orthogonal dictionaries even when feature representations have constant relative sparsity and non-independent coordinates. The only previous polynomial-time algorithms to solve these problem are based on solving large semidefinite programs. In contrast, our algorithms are easy to implement directly and are based on spectral projections and tensor-mode rearrangements. Or work is inspired by recent of Hopkins, Schramm, Shi, and Steurer (STOC'16) that shows how fast spectral algorithms can achieve the guarantees of SOS for average-case problems. In this work, we introduce general techniques to capture the guarantees of SOS for worst-case problems.

研究动机与目标

• 弥合基于SOS的张量分解理论鲁棒性与半定规划方法不切实际的运行时间之间的差距。
• 开发实用且快速的张量分解算法，其误差容限与SOS方法相当，尤其适用于具有正交分量的四阶张量。
• 在稀疏性和非独立同分布特征表示条件下，实现鲁棒的字典学习，而此前方法需依赖昂贵的SOS松弛。
• 实现输入张量大小为 $n^4$ 时近似线性时间复杂度（$n^5$），显著优于以往基于SOS的多项式时间算法。
• 提供一种可推广至最坏情况问题的谱框架，扩展了此前针对平均情况谱算法的工作。

提出的方法

• 利用谱投影和张量模式重排，迭代地从具有正交分量的四阶张量中提取分量。
• 应用后处理步骤以优化近似结果，恢复出与真实分量在谱上接近的向量。
• 利用矩阵集中不等式和谱范数界控制在常数谱范数扰动下的误差传播。
• 通过Kronecker积表示将问题转化为矩阵形式，从而利用标准线性代数工具实现高效计算。
• 引入一种随机化算法，将问题简化为从样本中估计四阶矩张量，使用矩阵Bernstein不等式控制估计误差。
• 利用正交性和矩假设简化经验张量的协方差结构，从而获得更紧的谱范数界。

实验结果

研究问题

• RQ1 谱算法能否在最坏情况下实现与平方和（SOS）方法相当的鲁棒性保证，用于张量分解？
• RQ2 对于具有正交分量的四阶张量，快速实用的张量分解算法可实现的最小误差容限（谱范数）是多少？
• RQ3 谱方法能否扩展以处理具有相关性、非独立同分布特征表示的稀疏使用字典？
• RQ4 在有界和次指数矩假设下，估计四阶矩张量的样本复杂度是多少，才能使其谱范数误差为 $o(1)$？
• RQ5 如何设计谱算法，使其在实现SOS方法鲁棒性的同时，达到近似线性时间复杂度？

主要发现

• 所提出的谱算法即使在误差张量具有常数谱范数（作为 $d^2 \times d^2$ 矩阵）时，仍能实现对具有正交分量的四阶张量的鲁棒分解，其性能与已知最佳SOS保证相当。
• 对于大小为 $n^4$ 的输入张量，该算法运行时间为 $n^5$，输入大小的近似线性时间，显著快于基于SOS的方法。
• 对于具有常数相对稀疏性及非独立坐标的正交字典，该算法在相似运行时间与鲁棒性下实现了恢复。
• 估计四阶矩张量的样本复杂度为 $\widetilde{O}(\max\{\beta n^3, (\kappa n)^2\})$，其中 $\beta$ 有界八阶矩，$\kappa$ 有界特征向量的元素。
• 在所述样本复杂度下，经验四阶矩张量的估计误差谱范数以高概率被限制在 $o(1)$ 以内。
• 该方法避免求解大规模半定规划，相较于以往基于SOS的方法更具实用性且易于实现。