[论文解读] Beyond Low Rank: A Data-Adaptive Tensor Completion Method

Lei Zhang, Wei Wei+4 more|arXiv (Cornell University)|Aug 3, 2017

Tensor decomposition and applications参考文献 20被引用 7

一句话总结

该论文提出了一种数据自适应的张量补全方法，显式建模了不完全张量中的低秩与非低秩结构。通过引入基于CP分解的稀疏诱导低秩先验，以及用于非低秩分量的高斯混合模型，该模型实现了张量秩的自动确定，并在高缺失率情况下，相较于最先进方法，取得了更优的补全精度。

ABSTRACT

Low rank tensor representation underpins much of recent progress in tensor completion. In real applications, however, this approach is confronted with two challenging problems, namely (1) tensor rank determination; (2) handling real tensor data which only approximately fulfils the low-rank requirement. To address these two issues, we develop a data-adaptive tensor completion model which explicitly represents both the low-rank and non-low-rank structures in a latent tensor. Representing the non-low-rank structure separately from the low-rank one allows priors which capture the important distinctions between the two, thus enabling more accurate modelling, and ultimately, completion. Through defining a new tensor rank, we develop a sparsity induced prior for the low-rank structure, with which the tensor rank can be automatically determined. The prior for the non-low-rank structure is established based on a mixture of Gaussians which is shown to be flexible enough, and powerful enough, to inform the completion process for a variety of real tensor data. With these two priors, we develop a Bayesian minimum mean squared error estimate (MMSE) framework for inference which provides the posterior mean of missing entries as well as their uncertainty. Compared with the state-of-the-art methods in various applications, the proposed model produces more accurate completion results.

研究动机与目标

• 解决低秩张量补全中张量秩确定的挑战，其中传统方法依赖于矩阵展开或人工设定。
• 克服在真实数据中假设完全低秩结构的局限性，这些数据通常包含复杂的非低秩分量。
• 开发一个统一框架，显式建模低秩与非低秩结构，以提升补全精度。
• 通过基于CP分解导出的稀疏诱导先验，实现张量秩的自动确定。
• 通过贝叶斯MMSE推理框架，为缺失条目提供不确定性估计。

提出的方法

• 基于CP分解定义一种新型张量秩，以实现数据自适应的低秩建模。
• 在CP分解权重上引入稀疏诱导先验，以实现无需人工调参的张量秩自动确定。
• 使用高斯混合模型（MOG）对非低秩结构进行建模，灵活捕捉包括稀疏、重尾或多重模式分布在内的多样化数据模式。
• 构建贝叶斯最小均方误差（MMSE）估计框架，以推断缺失条目的后验均值及其不确定性。
• 通过因子矩阵行上的高斯马尔可夫随机场引入空间相似性先验，以增强图像与视频补全中的恢复性能。
• 使用吉布斯采样进行后验推断，实现缺失值与不确定性量化的联合估计。

实验结果

研究问题

• RQ1 能否提出一种数据自适应的张量补全模型，通过显式分离低秩与非低秩结构，超越仅基于低秩的现有模型？
• RQ2 能否通过基于CP分解导出的稀疏诱导先验，自动确定张量秩而无需人工输入？
• RQ3 高斯混合先验能否有效建模真实张量数据中复杂的非低秩结构？
• RQ4 所提出的贝叶斯MMSE框架能否提供更准确且鲁棒的补全结果，包括不确定性估计？
• RQ5 当先验信息有限时，该模型在高缺失率下的表现如何？

主要发现

• 在'suzie'视频上，所提方法的相对重建误差（RRE）为0.0381，在'foreman'视频上为0.0422，优于所有基线方法，包括FBCP和BRTF。
• 在CMU-PIE数据集上的图像修复任务中，该方法在60%缺失率下将RRE降低至0.1172，在90%缺失率下为0.3372，显著优于FaLRTC和HaLRTC。
• 在'suzie'视频上，该方法实现了35.6013的PSNR和0.9182的SSIM，优于FBCP（PSNR: 34.6221，SSIM: 0.9103）及其他最先进方法。
• 引入空间相似性先验的变体（'Ours_sc'）进一步提升了性能，尤其在高缺失率下，证明了额外结构先验的价值。
• 贝叶斯MMSE框架成功估计了缺失条目的不确定性，提供了一种系统化的方法来量化预测的置信度。
• 视觉结果表明，所提方法在纹理丰富和复杂区域（如'parrot'图像）中生成了更清晰、更准确的重建结果。