[论文解读] Efficient Two-Dimensional Sparse Coding Using Tensor-Linear Combination

Fei Jiang, Xiaoyang Liu+2 more|arXiv (Cornell University)|Mar 28, 2017

Sparse and Compressive Sensing Techniques参考文献 4被引用 7

一句话总结

本文提出二维稀疏编码（2DSC），一种基于张量的稀疏编码框架，通过循环卷积保持空间结构并减小字典规模，将图像表示为张量线性组合。通过利用张量乘积运算和高效的频域优化，2DSC在计算成本低于最先进方法的前提下，实现了具有竞争力的多光谱图像去噪效果，尤其在高噪声水平下表现更优。

ABSTRACT

Sparse coding (SC) is an automatic feature extraction and selection technique that is widely used in unsupervised learning. However, conventional SC vectorizes the input images, which breaks apart the local proximity of pixels and destructs the elementary object structures of images. In this paper, we propose a novel two-dimensional sparse coding (2DSC) scheme that represents the input images as the tensor-linear combinations under a novel algebraic framework. 2DSC learns much more concise dictionaries because it uses the circular convolution operator, since the shifted versions of atoms learned by conventional SC are treated as the same ones. We apply 2DSC to natural images and demonstrate that 2DSC returns meaningful dictionaries for large patches. Moreover, for mutli-spectral images denoising, the proposed 2DSC reduces computational costs with competitive performance in comparison with the state-of-the-art algorithms.

研究动机与目标

• 解决传统稀疏编码在向量化输入下破坏局部像素邻近性以及因计算复杂度过高而带来的问题。
• 开发一种更高效、更紧凑的字典学习方法，通过避免向量化来保持图像结构。
• 降低高维图像数据处理中的计算成本，尤其针对大图像块和多光谱图像。
• 通过张量运算实现更小、更有意义的字典，从而实现有效的稀疏表示与去噪。
• 证明在多光谱图像去噪任务中，2DSC性能优于或媲美最先进方法。

提出的方法

• 提出一种新颖的2DSC模型，将输入图像表示为三阶张量，并通过张量线性组合近似表示，而非采用Tucker分解或卷积。
• 采用循环卷积算子以实现平移不变性，将原子的平移版本视为等价，从而减小字典规模。
• 提出一种基于张量积的新迭代软阈值算法，直接在张量空间中进行稀疏系数学习。
• 将字典学习问题转化为频域中的拉格朗日对偶问题，显著减少变量数量并加速优化过程。
• 在稀疏编码与字典学习步骤之间采用交替最小化策略，并在频域中实现高效更新，以提升可扩展性。
• 将该框架应用于自然图像与多光谱图像，采用基于图像块的张量表示，并通过自适应正则化的迭代训练方法进行优化。

实验结果

研究问题

• RQ1 基于张量的稀疏编码模型是否能比传统向量化稀疏编码更好地保持局部图像结构？
• RQ2 结合循环卷积的张量线性组合能否在保持或提升表示质量的同时减小字典规模与计算成本？
• RQ3 所提出的2DSC方法在多光谱图像去噪任务中是否优于最先进算法？
• RQ4 2DSC能否在传统SC方法失效的大图像块场景下，学习到有意义的过完备字典？
• RQ5 频域对偶公式是否能有效加速高维张量空间中的字典学习？

主要发现

• 2DSC即使在大图像块（d=32）下仍能学习到类似Gabor的有意义特征，而传统SC在此类尺度下性能显著下降。
• 在多光谱图像去噪任务中，2DSC在所有噪声水平下均取得最高的SSIM值，优于BwK-SVD、3DK-SVD、LRTA、PARAFAC和TenSR。
• 在高噪声水平下（σ=30 和 σ=50），2DSC取得最佳PSNR结果，其中σ=50时达到34.46 dB，甚至优于LRTA和TenSR。
• 图5的视觉结果表明，2DSC能生成最清晰的重建结果，尤其在纹理区域的伪影最少。
• 所提出的频域对偶优化方法显著降低了计算复杂度，使高分辨率多光谱图像的高效训练成为可能。
• 2DSC学习到的字典所张成的空间等价于传统SC的字典空间，但基向量数量显著减少，表明其具有更强的表示效率。