[论文解读] Exact Low Tubal Rank Tensor Recovery from Gaussian Measurements

Canyi Lu, Jiashi Feng+2 more|arXiv (Cornell University)|Jun 7, 2018

Sparse and Compressive Sensing Techniques参考文献 4被引用 14

一句话总结

该论文通过高斯测量实现了对低管秩张量的精确恢复保证，采用张量核范数（TNN）最小化方法。通过证明TNN是一种原子范数并计算其切锥的高斯宽度，表明O(r(n₁ + n₂ − r)n₃)组高斯测量即可实现精确恢复，该结果在阶数上是最优的，与自由度r(n₁ + n₂ − r)n₃相匹配。

ABSTRACT

The recent proposed Tensor Nuclear Norm (TNN) [Lu et al., 2016; 2018a] is an interesting convex penalty induced by the tensor SVD [Kilmer and Martin, 2011]. It plays a similar role as the matrix nuclear norm which is the convex surrogate of the matrix rank. Considering that the TNN based Tensor Robust PCA [Lu et al., 2018a] is an elegant extension of Robust PCA with a similar tight recovery bound, it is natural to solve other low rank tensor recovery problems extended from the matrix cases. However, the extensions and proofs are generally tedious. The general atomic norm provides a unified view of low-complexity structures induced norms, e.g., the $\ell_1$-norm and nuclear norm. The sharp estimates of the required number of generic measurements for exact recovery based on the atomic norm are known in the literature. In this work, with a careful choice of the atomic set, we prove that TNN is a special atomic norm. Then by computing the Gaussian width of certain cone which is necessary for the sharp estimate, we achieve a simple bound for guaranteed low tubal rank tensor recovery from Gaussian measurements. Specifically, we show that by solving a TNN minimization problem, the underlying tensor of size $n_1 imes n_2 imes n_3$ with tubal rank $r$ can be exactly recovered when the given number of Gaussian measurements is $O(r(n_1+n_2-r)n_3)$. It is order optimal when comparing with the degrees of freedom $r(n_1+n_2-r)n_3$. Beyond the Gaussian mapping, we also give the recovery guarantee of tensor completion based on the uniform random mapping by TNN minimization. Numerical experiments verify our theoretical results.

研究动机与目标

• 建立基于TNN最小化的低管秩张量恢复的理论恢复保证。
• 证明TNN是原子范数框架的一个特例，从而实现对低复杂度结构的统一分析。
• 推导出实现管秩为r的张量精确恢复所需的高斯测量数的紧致界。
• 将分析扩展至均匀随机采样下的张量补全问题，提供采样复杂度界。
• 纠正并改进先前工作中在张量补全恢复保证中存在缺陷的证明。

提出的方法

• 通过识别合适的原子集，证明TNN是原子范数，从而可应用原子范数理论。
• 计算与TNN球相关的切锥的高斯宽度，以推导精确的恢复界。
• 使用高尔夫球法（golfing scheme）构造高斯测量下恢复问题的对偶证书。
• 应用浓度不等式和矩阵偏差界（如引理11、12、14）以控制对偶证书构造中的误差。
• 分析投影算子的谱范数与Frobenius范数，以验证对偶证书条件。
• 利用t-积结构和非相干性假设，推导∥U∗V∗∥∞和∥U∗V∗∥∞,2的界。

实验结果

研究问题

• RQ1 TNN最小化能否从高斯测量中精确恢复低管秩张量？
• RQ2 实现精确恢复所需的最少高斯测量数是多少？其阶数是否最优？
• RQ3 在均匀随机采样下，TNN最小化是否也能保证张量补全的精确恢复？
• RQ4 所提出的分析与先前工作相比如何，特别是在纠正现有证明中的错误方面？
• RQ5 原子范数框架是否可推广至超越矩阵推广的张量恢复问题？

主要发现

• 证明了TNN是原子范数的一个特例，从而实现了对低管秩张量的统一理论分析。
• 对于大小为n₁ × n₂ × n₃、管秩为r的张量，O(r(n₁ + n₂ − r)n₃)组高斯测量可保证其精确恢复。
• 所需测量数在阶数上是最优的，与自由度r(n₁ + n₂ − r)n₃仅相差一个常数因子。
• 在均匀随机采样下的张量补全中，采样复杂度为O(r min(n₁, n₂)n₃ log²(min(n₁, n₂)n₃))，在对数因子范围内达到阶数最优。
• 该证明纠正了先前工作中的错误，例如Zhang和Aeron（2017）的证明，通过严格验证了对偶证书条件。
• 当测量数足够大时，通过高尔夫球法构造的对偶证书以高概率成功，其成功性由p和t₀的选择所量化。