[论文解读] Infrared Image Super-Resolution: Systematic Review, and Future Trends

Yongsong Huang, Tomo Miyazaki+2 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Image Processing Techniques被引用 11

一句话总结

本综述全面回顾了红外（IR）图像超分辨率（SR），强调了IR图像相较于可见光图像所面临的独特挑战——如对比度低、纹理稀疏以及复杂的退化特性。该综述系统性地对基于深度学习的SR方法进行分类，评估数据集与度量标准，并指出未来方向，包括大视觉模型（Large Vision Models）和扩散网络，以推动红外图像质量超越可见光图像迁移学习的局限。

ABSTRACT

Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at https://github.com/yongsongH/Infrared_Image_SR_Survey.

研究动机与目标

• 系统性回顾红外（IR）图像超分辨率中的应用、方法、数据集与评估度量标准。
• 识别红外图像的独特特征——如纹理稀疏、梯度差以及复杂退化——这些特征使其与可见光图像不同，从而阻碍直接迁移可见光图像SR方法。
• 强调红外成像系统中基于硬件的图像质量提升存在物理与电子限制，因此效果有限。
• 提供基于深度学习的红外SR方法分类体系，包括卷积神经网络（CNNs）、生成对抗网络（GANs）、Transformer模型以及新兴的生成模型。
• 概述开放性挑战与未来研究方向，如大视觉模型（Large Vision Models）和基于扩散的架构，以推动红外图像超分辨率的发展。

提出的方法

• 本综述采用分层且结构化的分类体系，根据模型架构设计与学习范式对红外图像超分辨率方法进行分类。
• 分析针对红外图像特有的退化模型，包括模糊核、噪声（如加性白高斯噪声）以及下采样，通过公式（2）形式化表达：$\mathbb{D}(I_{HR};\delta) = (I_{HR} \otimes \kappa)\downarrow_d + n_\varsigma$。
• 评估基于参考与无参考的图像质量评估（IQA）度量标准，包括PSNR、BRISQUE，以及公式（14）中的混合度量$Q_{SR}$，该度量平衡了无参考与有参考得分。
• 回顾现有的红外图像数据集与基准测试，强调其在训练与评估SR模型中的作用。
• 讨论正则化与损失函数在公式（3）中的应用：$\hat{\theta} = \arg\min_\theta \mathcal{L}(I_{HR}, I_{SR}) + \lambda\Phi(\theta)$，以优化SR重建效果。
• 探讨新兴范式，如Transformer、GANs与扩散模型，并提出未来将这些方法与大视觉模型（LVMs）结合，以提升特征学习能力与迁移性能。

实验结果

研究问题

• RQ1 为何现有可见光图像超分辨率方法在直接应用于红外图像时会失效？
• RQ2 红外图像中哪些独特图像特性——如纹理稀疏性与频谱重叠——使其在超分辨率背景下与可见光图像根本不同？
• RQ3 红外成像系统中的硬件限制如何制约图像质量？为何硬件重新设计并非可扩展的解决方案？
• RQ4 在红外图像超分辨率中，最有效的深度学习架构与损失函数是什么？它们与可见光图像SR中所用方法有何不同？
• RQ5 未来方向如大视觉模型（Large Vision Models）与扩散网络，如何能显著提升红外图像超分辨率性能？

主要发现

• 由于存在非均匀模糊核与环境噪声等复杂退化模式，红外图像超分辨率本质上比可见光图像SR更具挑战性，而这些模式无法被标准可见光图像退化函数充分建模。
• 传统可见光图像SR模型（如CNNs与GANs）在红外图像上表现欠佳，原因在于缺乏纹理与颜色信息，因此需要专门设计的架构以适应红外图像特有的模式。
• 混合度量$Q_{SR}$（公式14）通过可学习权重$\lambda_1$与$\lambda_2$结合BRISQUE与PSNR，相较于标准度量，能为红外图像质量提供更鲁棒的无参考评估。
• 现有红外SR数据集在规模与多样性方面均有限，且缺乏标准化基准，这阻碍了不同方法间的公平比较与可复现性。
• 未来进展有望来自大视觉模型（LVMs）与基于扩散的生成模型，它们可利用预训练知识，并在较少标注数据下建模复杂的红外图像先验。
• 本综述指出，从大规模可见光图像预训练进行迁移学习在红外SR中表现不佳，而领域特定预训练或自监督方法可能更为有效。