[论文解读] Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization

Jonathan Q. Jiang, Michael K. Ng|arXiv (Cornell University)|Aug 2, 2017

Sparse and Compressive Sensing Techniques参考文献 33被引用 14

一句话总结

本文提出了一种凸优化框架，通过使用管状核范数最小化和ℓ₁-范数正则化，从稀疏损坏和不完整观测中实现低管秩张量的精确恢复。该方法在温和的非一致性条件下建立了精确恢复的理论保证，实证验证表明其在张量补全和鲁棒PCA任务中优于现有方法。

ABSTRACT

This paper conducts a rigorous analysis for provable estimation of multidimensional arrays, in particular third-order tensors, from a random subset of its corrupted entries. Our study rests heavily on a recently proposed tensor algebraic framework in which we can obtain tensor singular value decomposition (t-SVD) that is similar to the SVD for matrices, and define a new notion of tensor rank referred to as the tubal rank. We prove that by simply solving a convex program, which minimizes a weighted combination of tubal nuclear norm, a convex surrogate for the tubal rank, and the $\ell_1$-norm, one can recover an incoherent tensor exactly with overwhelming probability, provided that its tubal rank is not too large and that the corruptions are reasonably sparse. Interestingly, our result includes the recovery guarantees for the problems of tensor completion (TC) and tensor principal component analysis (TRPCA) under the same algebraic setup as special cases. An alternating direction method of multipliers (ADMM) algorithm is presented to solve this optimization problem. Numerical experiments verify our theory and real-world applications demonstrate the effectiveness of our algorithm.

研究动机与目标

• 解决从不完整且任意损坏的观测中恢复低管秩张量的挑战，这是真实世界多维数据中常见的问题。
• 开发一种鲁棒的恢复框架，将张量补全和张量鲁棒PCA统一于一个凸优化模型下。
• 建立在高概率下实现精确恢复的理论条件，将基于矩阵的非一致性假设推广至张量设置。
• 通过ADMM方法实现计算上可行的算法，高效求解所提出的凸规划问题。
• 在真实世界应用中验证该方法，如视频背景恢复和交通流量估计，证明其优于现有方法。

提出的方法

• 利用t-SVD代数框架定义管秩和管状核范数，实现对三阶张量的SVD类似分解。
• 构建一个凸优化问题，通过最小化管状核范数（作为管秩的代理）与ℓ₁-范数（以促进损坏的稀疏性）的加权组合。
• 提出一组新的张量非一致性条件，其强度弱于先前工作且更自然，确保在温和假设下实现精确恢复。
• 应用golfing方案和非交换Bernstein不等式，推导所提出凸规划的理论恢复界。
• 实现一种ADMM算法，高效求解优化问题，使方法可扩展至真实世界数据。
• 采用数据驱动的λ参数（λ = 20/√(n₁n₃)），以平衡低秩与稀疏分量，提升在稀疏损坏下的性能。

实验结果

研究问题

• RQ1 在温和的结构假设下，是否能从随机子集的、任意损坏的观测中实现张量的精确恢复？
• RQ2 所提出的张量非一致性条件与现有条件相比，在强度和实用性上如何？
• RQ3 结合管状核范数与ℓ₁-范数的凸优化框架，在多大程度上优于现有的张量补全和鲁棒PCA方法？
• RQ4 该方法的理论恢复保证是什么？其与基于矩阵的恢复理论有何关联？
• RQ5 在存在缺失数据和严重损坏的真实世界应用中，如视频背景建模和交通流估计，该方法表现如何？

主要发现

• 在新的非一致性条件下，当管秩较低且损坏稀疏时，所提凸优化方法以高概率实现张量的精确恢复。
• 该方法将张量补全和张量鲁棒PCA作为特例统一于同一框架下，实现了两个重要恢复问题的统一。
• 数值实验验证了理论分析，表明在不同采样率和损坏水平下，恢复性能保持一致。
• 在交通流量估计任务中，该方法在所有测试采样率下均取得最低RMSE，尤其在低采样率（ρ ≤ 0.2）时显著优于其他方法。
• 该算法成功重建了存在缺失和损坏帧的视频序列中的背景，优于RMC和TRPCA，尤其在具有瞬态前景物体的动态场景中表现更优。
• 经验选择的λ = 20/√(n₁n₃)相比默认的λ = 1/√(n₁n₃)显著提升了恢复性能，凸显了参数调优的重要性。