[论文解读] A General Model for Robust Tensor Factorization with Unknown Noise

Xi’ai Chen, Zhi Han+5 more|arXiv (Cornell University)|May 18, 2017

Tensor decomposition and applications参考文献 9被引用 5

一句话总结

该论文提出了一种广义加权低秩张量分解方法（GWLRTF），结合高斯混合模型（MoG）噪声模型，以鲁棒地从受未知复杂噪声污染的高维视觉数据中恢复低秩子空间。通过在期望最大化（EM）框架内整合MoG建模，并同时应用CP和Tucker张量分解，该方法能够保持空间结构，在图像修复、多光谱及高光谱图像恢复任务中，于强噪声环境下优于现有的基于矩阵和张量的方法。

ABSTRACT

Because of the limitations of matrix factorization, such as losing spatial structure information, the concept of low-rank tensor factorization (LRTF) has been applied for the recovery of a low dimensional subspace from high dimensional visual data. The low-rank tensor recovery is generally achieved by minimizing the loss function between the observed data and the factorization representation. The loss function is designed in various forms under different noise distribution assumptions, like $L_1$ norm for Laplacian distribution and $L_2$ norm for Gaussian distribution. However, they often fail to tackle the real data which are corrupted by the noise with unknown distribution. In this paper, we propose a generalized weighted low-rank tensor factorization method (GWLRTF) integrated with the idea of noise modelling. This procedure treats the target data as high-order tensor directly and models the noise by a Mixture of Gaussians, which is called MoG GWLRTF. The parameters in the model are estimated under the EM framework and through a new developed algorithm of weighted low-rank tensor factorization. We provide two versions of the algorithm with different tensor factorization operations, i.e., CP factorization and Tucker factorization. Extensive experiments indicate the respective advantages of this two versions in different applications and also demonstrate the effectiveness of MoG GWLRTF compared with other competing methods.

研究动机与目标

• 解决传统矩阵分解在处理高阶视觉数据时丢失空间结构的局限性。
• 克服现有低秩张量分解方法在未知或复杂噪声分布下性能不佳的问题。
• 构建统一框架，将噪声建模为高斯混合模型（MoG），以增强在具有异质性污染的真实世界数据中的鲁棒性。
• 提出一种适用于CP与Tucker张量分解的广义加权低秩张量因子分解（GWLRTF）方法。
• 实现在图像修复、多光谱与高光谱图像恢复等应用中，从噪声高阶张量中有效恢复低维子空间。

提出的方法

• 构建一种广义加权低秩张量因子分解（GWLRTF）模型，将数据视为高阶张量而无需展开为矩阵，从而保留空间结构。
• 引入高斯混合模型（MoG）以表征数据中未知的噪声分布，提升对复杂非高斯噪声的鲁棒性。
• 设计基于EM的算法，联合估计MoG参数与低秩张量因子，提升噪声建模与因子分解的准确性。
• 设计两种变体：基于CANDECOMP/PARAFAC分解的MoG GWLRTF-CP与基于Tucker分解的MoG GWLRTF-Tucker，分别适配不同数据特征。
• 在优化过程中引入加权核范数最小化，以增强在噪声条件下的低秩逼近性能。
• 在EM框架内采用交替优化策略，高效求解非凸子问题，确保收敛性与可扩展性。

实验结果

研究问题

• RQ1 统一的张量因子分解框架是否能有效处理高维视觉数据中的未知噪声分布？
• RQ2 与传统的L1或L2损失函数相比，基于MoG的噪声建模在张量恢复中如何提升鲁棒性？
• RQ3 在不同图像恢复应用中，基于CP与基于Tucker的GWLRTF各自具有何种相对优势？
• RQ4 在大规模复杂噪声存在的情况下，该方法在多大程度上能保持结构信息并恢复精细细节？
• RQ5 该方法是否能恢复严重受损波段的高光谱与多光谱图像，而无需像现有方法那样丢弃这些波段？

主要发现

• MoG GWLRTF-CP在恢复多光谱图像方面优于MoG GWLRTF-Tucker，尤其在保持波段特异性光谱特征方面表现更佳。
• 在多光谱图像恢复任务中，MoG GWLRTF-CP与MoG GWLRTF-Tucker在PSNR指标上均高于对比方法，RSE更低，FSIM值更优。
• MoG GWLRTF-CP成功恢复了具有不同光谱响应的31个波段的高光谱图像，避免了基于矩阵的MoG LRMF方法中常见的波段相似性问题。
• 在真实高光谱图像恢复任务中，MoG GWLRTF-CP与MoG GWLRTF-Tucker在严重污染波段上的表现显著优于HaLRTC、LRTA、PARAFAC、MSI DL与CWM LRTF。
• 所提方法保持了结构保真度与光谱一致性，在多种数据类型中均展现出更优的视觉质量与定量指标表现。
• MoG GWLRTF-Tucker在控制因子矩阵间交互关系方面表现更优，更适合密集结构化数据；而MoG GWLRTF-CP在稀疏压缩任务中表现更佳。