[论文解读] Mixture-Net: Low-Rank Deep Image Prior Inspired by Mixture Models for Spectral Image Recovery

Tatiana Gelvez, Jorge Bacca+1 more|arXiv (Cornell University)|Nov 5, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

Mixture-Net 是一种用于光谱图像恢复的非数据驱动深度图像先验网络，通过将可解释的线性和非线性低秩混合模型整合到深度生成架构中。通过将图像建模为端元和丰度的加权和，它在无需训练数据的情况下实现了去噪、超分辨率和压缩感知任务的最先进性能，同时通过学习到的可解释特征直接实现解混和材料识别。

ABSTRACT

This paper proposes a non-data-driven deep neural network for spectral image recovery problems such as denoising, single hyperspectral image super-resolution, and compressive spectral imaging reconstruction. Unlike previous methods, the proposed approach, dubbed Mixture-Net, implicitly learns the prior information through the network. Mixture-Net consists of a deep generative model whose layers are inspired by the linear and non-linear low-rank mixture models, where the recovered image is composed of a weighted sum between the linear and non-linear decomposition. Mixture-Net also provides a low-rank decomposition interpreted as the spectral image abundances and endmembers, helpful in achieving remote sensing tasks without running additional routines. The experiments show the MixtureNet effectiveness outperforming state-of-the-art methods in recovery quality with the advantage of architecture interpretability.

研究动机与目标

• 为解决黑箱深度学习在光谱图像恢复中的局限性，通过物理先验引入可解释性。
• 开发一种非数据驱动的方法，隐式学习图像先验而无需大规模标注数据集。
• 通过可解释特征学习，统一光谱图像恢复与下游遥感任务（如解混和材料识别）。
• 通过基于模型的正则化方法，提升在病态问题（如去噪、超分辨率和压缩感知）中的恢复质量。
• 通过将丰度和端元估计直接嵌入网络架构，实现端到端的恢复与分析。

提出的方法

• Mixture-Net 采用由多个可解释深度模块组成的深度生成架构，每个模块建模端元和丰度的线性和非线性混合。
• 通过Tucker分解对输入进行预处理，以强制实现低秩结构，反映光谱图像的固有低维特性。
• 每个深度模块包含三个可训练层：一个用于估计丰度图，一个用于学习端元光谱，一个用于建模非线性光谱相互作用。
• 损失函数结合重建损失与自定义正则化项，以强制空间-光谱相关性及所学组分的物理合理性。
• 网络采用端到端训练，基于深度图像先验范式，使用随机权重初始化，并在单个图像上优化，无需外部数据。
• 通过将学习到的特征和权重直接与物理量关联实现可解释性：丰度作为空间图，端元作为光谱特征。

实验结果

研究问题

• RQ1 非数据驱动的深度学习架构能否在保持可解释性的同时实现优越的光谱图像恢复性能？
• RQ2 同时引入线性和非线性低秩混合模型，相较于标准深度图像先验方法，如何提升光谱图像重建质量？
• RQ3 从 Mixture-Net 学习到的端元和丰度在多大程度上可直接用于解混和材料识别而无需额外处理流程？
• RQ4 在输入和网络架构中强制实施低秩结构，是否能提升在病态光谱成像问题中的恢复质量？
• RQ5 在可微分框架中集成基于模型的正则化方法，是否能在光谱图像恢复任务中超越纯数据驱动基线方法？

主要发现

• Mixture-Net 在六个基准数据集上的光谱图像去噪、超分辨率和压缩感知任务中，性能优于最先进的数据驱动和基于模型的方法。
• 该方法在PSNR和SSIM指标上优于对比方法，尤其在真实世界超分辨率数据上PSNR最高提升达1.5 dB。
• 非线性模块层的引入显著提升了重建质量，能够建模超越线性混合的复杂光谱相互作用。
• Mixture-Net 学习到的丰度图和端元与真实值材料高度匹配，可直接实现精确解混而无需额外处理。
• 网络的可解释性使得特征可直接用于遥感任务（如材料识别），减少了对后处理流程的依赖。
• Mixture-Net 的非数据驱动特性消除了对大规模光谱图像数据集的需求，使其在实际部署中更具可行性。