[论文解读] Novel methods for multilinear data completion and de-noising based on tensor-SVD

Zemin Zhang, Gregory Ely+3 more|arXiv (Cornell University)|Jul 7, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用 52

一句话总结

本文提出了一种基于张量-SVD（t-SVD）的新颖张量补全与鲁棒PCA方法，适用于三维和四维视频数据，利用张量核范数（TNN）实现低秩逼近并增强对稀疏噪声的鲁棒性。该方法在从缺失条目和稀疏噪声中恢复视频方面优于基于矩阵的方法，通过ADMM优化框架在补全与去噪任务中均表现出更优性能。

ABSTRACT

In this paper we propose novel methods for completion (from limited samples) and de-noising of multilinear (tensor) data and as an application consider 3-D and 4- D (color) video data completion and de-noising. We exploit the recently proposed tensor-Singular Value Decomposition (t-SVD)[11]. Based on t-SVD, the notion of multilinear rank and a related tensor nuclear norm was proposed in [11] to characterize informational and structural complexity of multilinear data. We first show that videos with linear camera motion can be represented more efficiently using t-SVD compared to the approaches based on vectorizing or flattening of the tensors. Since efficiency in representation implies efficiency in recovery, we outline a tensor nuclear norm penalized algorithm for video completion from missing entries. Application of the proposed algorithm for video recovery from missing entries is shown to yield a superior performance over existing methods. We also consider the problem of tensor robust Principal Component Analysis (PCA) for de-noising 3-D video data from sparse random corruptions. We show superior performance of our method compared to the matrix robust PCA adapted to this setting as proposed in [4].

研究动机与目标

• 为解决从不完整或受损观测中恢复多线性（张量）数据的挑战，特别是在视频应用中。
• 利用最近提出的张量-SVD（t-SVD）框架，实现比传统基于矩阵或向量化方法更高效、更精确的视频数据低秩表示。
• 开发一种基于张量核范数（TNN）正则化的算法，用于从随机采样条目中完成视频补全。
• 提出一种张量鲁棒PCA公式，以将低多秩视频内容与稀疏、高幅值的噪声分离。
• 在视频补全与去噪任务中，证明该方法优于现有基于矩阵的方法。

提出的方法

• 该方法基于最近提出的张量-SVD（t-SVD），将张量视为在定向矩阵上的线性算子，支持多线性秩与基于TNN的低秩逼近。
• 张量核范数（TNN）被用作多线性秩的凸松弛，以实现补全与去噪任务中的高效优化。
• 对于视频补全，通过交替方向乘子法（ADMM）求解TNN正则化优化问题，并在傅里叶域中进行更新，以利用t-SVD结构。
• 对于鲁棒PCA，通过凸优化问题建模低秩 + 稀疏分解：min ||L||_TNN + λ||S||_1,1,2，受数据一致性约束，通过ADMM求解。
• ADMM更新在傅里叶域中推导，其中t-SVD通过变换的分块对角化实现TNN的高效计算。
• 该方法应用于具有线性相机运动的3D与4D视频数据，t-SVD相比向量化或展平方法提供了更紧凑的表示。

实验结果

研究问题

• RQ1 与基于矩阵或向量化的方法相比，t-SVD基张量表示能否更高效、更准确地逼近3D与4D视频数据的低秩结构？
• RQ2 通过ADMM实现的TNN正则化优化，是否能比现有基于矩阵或张量的方法更优地完成从随机采样条目中恢复视频？
• RQ3 张量鲁棒PCA能否有效分离稀疏、高幅值像素噪声与底层低多秩视频内容，特别是在噪声在帧间具有结构化特征时？
• RQ4 正则化参数λ的选择如何影响张量鲁棒PCA的性能？是否存在最优的缩放规则？
• RQ5 在视频恢复任务中，使用t-SVD相比Tucker或CANDECOMP/PARAFAC分解具有哪些理论与实际优势？

主要发现

• 对于具有线性相机运动的视频，t-SVD基表示相比向量化或展平的矩阵表示具有更高的压缩效率。
• 所提出的TNN正则化补全算法在从随机缺失条目中恢复3D与4D视频方面，优于现有的基于矩阵与张量的方法。
• 张量鲁棒PCA成功将稀疏像素噪声与底层低多秩视频内容分离，恢复帧中伪影极少且保真度高。
• 将矩阵鲁棒PCA应用于向量化帧会导致背景恢复模糊，并将结构泄漏至稀疏分量，而张量鲁棒PCA则保持了时空一致性。
• 张量鲁棒PCA中λ的最优选择在经验上为1/√max(n₁,n₂)，该结果与理论直觉一致，且优于基于矩阵的λ缩放方式。
• 基于ADMM的优化框架通过在傅里叶域中利用t-SVD结构，实现了TNN与鲁棒PCA问题的高效且可扩展求解。