[论文解读] Hyperspectral Super-Resolution via Coupled Tensor Ring Factorization

Wei He, Yong Chen+3 more|arXiv (Cornell University)|Jan 6, 2020

Advanced Image Fusion Techniques参考文献 48被引用 7

一句话总结

该论文提出了一种耦合张量环分解（CTRF）模型用于高光谱超分辨率（HSR），利用张量环分解从低分辨率高光谱图像（HSI）和高分辨率多光谱图像（MSI）中联合重建高分辨率高光谱图像。通过利用光谱和空间维度上的低秩特性，并引入光谱核范数正则化，该方法在无需训练数据的情况下实现了最先进性能，在定量和视觉评估中均优于传统矩阵/张量方法及深度学习模型。

ABSTRACT

Hyperspectral super-resolution (HSR) fuses a low-resolution hyperspectral image (HSI) and a high-resolution multispectral image (MSI) to obtain a high-resolution HSI (HR-HSI). In this paper, we propose a new model, named coupled tensor ring factorization (CTRF), for HSR. The proposed CTRF approach simultaneously learns high spectral resolution core tensor from the HSI and high spatial resolution core tensors from the MSI, and reconstructs the HR-HSI via tensor ring (TR) representation (Figure~ ef{fig:framework}). The CTRF model can separately exploit the low-rank property of each class (Section ef{sec:analysis}), which has been never explored in the previous coupled tensor model. Meanwhile, it inherits the simple representation of coupled matrix/CP factorization and flexible low-rank exploration of coupled Tucker factorization. Guided by Theorem~ ef{th:1}, we further propose a spectral nuclear norm regularization to explore the global spectral low-rank property. The experiments have demonstrated the advantage of the proposed nuclear norm regularized CTRF (NCTRF) as compared to previous matrix/tensor and deep learning methods.

研究动机与目标

• 为解决在无需训练数据的情况下，从低分辨率高光谱（HSI）和高分辨率多光谱（MSI）数据中生成高分辨率高光谱图像（HR-HSI）的挑战。
• 克服现有矩阵与张量分解模型在充分挖掘HSI中空间-光谱相关性与低秩结构方面的局限性。
• 提出一种新型耦合张量环分解（CTRF）模型，通过张量环分解分别建模光谱与空间的低秩特性。
• 在第三个体TR核心上引入光谱核范数正则化，以利用HR-HSI的全局光谱低秩特性，提升重建精度。
• 提供一种高效的交替优化算法用于CTRF与核范数正则化的NCTRF模型，确保实际应用中的可行性。

提出的方法

• 该方法使用张量环（TR）分解将HR-HSI与MSI分解为一系列三维核心张量，实现在各维度上的灵活低秩建模。
• 提出一种耦合张量环分解（CTRF）模型，以同时从HSI中学习高光谱分辨率的核心张量，从MSI中学习高空间分辨率的核心张量。
• 通过独立地对HSI与MSI应用TR分解，利用不同HSI类别的低秩特性，提升表示保真度。
• 在第三个体TR核心张量沿模式-2展开方向应用一种新颖的光谱核范数正则化，如定理2所示，可约束HR-HSI的全局光谱低秩结构。
• 开发了一种高效的交替迭代算法以优化CTRF与NCTRF模型，确保收敛性与计算效率。
• 通过张量环乘积运算重新组合高分辨率核心张量，实现HR-HSI的重建。

实验结果

研究问题

• RQ1 耦合张量环分解模型能否有效利用高光谱超分辨率中的空间与光谱低秩结构？
• RQ2 在第三个体TR核心上引入的核范数正则化如何提升HR-HSI重建中全局光谱低秩特性的利用？
• RQ3 基于CTRF的方法是否在无需训练数据的无监督HSR中优于现有矩阵/张量分解与深度学习模型？
• RQ4 在基准数据集上，该方法是否在PSNR、RMSE与SSIM指标上优于最先进方法？
• RQ5 该模型在视觉表现上如何，特别是在保留精细空间与光谱细节方面与真实值相比如何？

主要发现

• 所提出的NCTRF方法在CAVE Balloons数据集上达到41.51 dB的PSNR，优于次佳方法（MHF-net为40.49 dB）与uSDN（37.78 dB）。
• 在CAVE Toy数据集上，NCTRF实现38.42 dB的PSNR，超过MHF-net（36.10 dB）与uSDN（33.94 dB），展现出更优的定量性能。
• NCTRF在CAVE Balloons上的RMSE为2.49，在CAVE Toy上为3.88，表明其重建精度高于对比方法。
• 图7的视觉对比显示，NCTRF生成的差分图像最接近零，表明误差最小，且在空间与光谱细节保留方面表现更优。
• NCTRF在SSIM指标上取得更高值（Balloons为0.979，Toy为0.944），证实其与真实值的结构相似性更优。
• NCTRF模型在无需任何训练数据的情况下，优于深度学习方法如MHF-net与uSDN，凸显其在真实世界无监督应用中的优势。