[论文解读] A New Low-Rank Tensor Model for Video Completion

Wenrui Hu, Dacheng Tao+3 more|arXiv (Cornell University)|Sep 7, 2015

Tensor decomposition and applications参考文献 9被引用 16

一句话总结

本文提出了一种新颖的低秩张量模型——扭曲张量核范数（t-TNN），该模型利用循环代数和张量-SVD，高效重建存在缺失帧的云台视频。通过利用帧间通过块循环矩阵化实现的水平平移关系，t-TNN在非平稳相机运动视频中实现了更优的重建精度，相较于最先进的模型GTNN，RSE降低最高达3.7 dB。

ABSTRACT

In this paper, we propose a new low-rank tensor model based on the circulant algebra, namely, twist tensor nuclear norm or t-TNN for short. The twist tensor denotes a 3-way tensor representation to laterally store 2D data slices in order. On one hand, t-TNN convexly relaxes the tensor multi-rank of the twist tensor in the Fourier domain, which allows an efficient computation using FFT. On the other, t-TNN is equal to the nuclear norm of block circulant matricization of the twist tensor in the original domain, which extends the traditional matrix nuclear norm in a block circulant way. We test the t-TNN model on a video completion application that aims to fill missing values and the experiment results validate its effectiveness, especially when dealing with video recorded by a non-stationary panning camera. The block circulant matricization of the twist tensor can be transformed into a circulant block representation with nuclear norm invariance. This representation, after transformation, exploits the horizontal translation relationship between the frames in a video, and endows the t-TNN model with a more powerful ability to reconstruct panning videos than the existing state-of-the-art low-rank models.

研究动机与目标

• 解决传统低秩模型无法捕捉时间平移模式的云台视频补全挑战。
• 克服现有张量核范数（如GTNN）未能利用帧间空间平移关系的局限性。
• 开发一种计算高效且可解释的低秩张量模型，以保留视频序列中的结构冗余。
• 在随机遮挡和结构化缺失数据场景下，实现鲁棒的视频补全。
• 通过块循环表示，将张量核范数与矩阵核范数相连接，以增强建模能力。

提出的方法

• 提出扭曲张量，一种三阶张量表示方法，按顺序横向存储二维视频帧，以保持空间和时间顺序。
• 定义扭曲张量核范数（t-TNN）为原始域中扭曲张量的块循环矩阵化的核范数。
• 建立t-TNN与傅里叶域中张量多秩松弛之间的等价性，通过FFT实现高效计算。
• 将块循环矩阵化转换为保持核范数不变性的循环块表示，以捕捉帧间的水平平移。
• 将视频补全建模为使用t-TNN作为张量多秩凸近似解的低秩张量估计问题。
• 采用交替方向乘子法（ADMM）框架求解优化问题，并结合高效的奇异值阈值化方法。

实验结果

研究问题

• RQ1 一种显式捕捉视频帧间水平平移的低秩张量模型，是否能提升云台视频的重建性能？
• RQ2 t-TNN与最先进的模型（如GTNN、SNN和LNN）相比，在缺失数据视频重建中的表现如何？
• RQ3 扭曲张量的循环块表示是否在保持核范数不变性的同时，增强了时间冗余的建模能力？
• RQ4 与现有方法相比，t-TNN在非平稳相机运动视频中的重建误差（RSE）降低程度如何？
• RQ5 t-TNN能否有效抑制云台视频序列中的伪影（如‘末端尾迹’和鬼影）？

主要发现

• 在云台视频中，t-TNN相较于GTNN将RSE降低了0.8 dB至3.7 dB，证明了其更优的重建精度。
• 在具有云台运动的风车视频中，t-TNN消除了GTNN因平移建模不佳而产生的‘末端尾迹’和鬼影伪影。
• 在随机遮挡实验中，t-TNN在所有测试视频中均持续优于GTNN、SNN、LNN、TMac和MNN，尤其在纹理和细节恢复方面表现更优。
• 平均而言，t-TNN在所有方法中实现了最高的逆RSE（iRSE）和最低的运行时间，对于大图像（如p=0.1时的Building视频）相较GTNN实现了10倍加速（分别为419秒 vs. 66秒）。
• 扭曲张量的循环块表示支持基于FFT的高效计算，同时保持核范数不变，确保了计算效率与建模保真度的统一。
• t-TNN在非平稳云台运动视频中尤为有效，其对时间平移冗余的利用优于忽略帧间位移模式的模型。