[论文解读] A Dive into SAM Prior in Image Restoration

Zeyu Xiao, Jiawang Bai+2 more|arXiv (Cornell University)|May 23, 2023

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出了一种参数高效的图像恢复方法，通过利用Segment Anything Model（SAM）的语义先验来提升图像恢复性能。通过将轻量级的SAM先验调优（SPT）模块集成到现有网络中，该方法在不微调主干模型的前提下，显著提升了图像超分辨率和去噪质量，实现了参数效率极高的最先进性能。

ABSTRACT

The goal of image restoration (IR), a fundamental issue in computer vision, is to restore a high-quality (HQ) image from its degraded low-quality (LQ) observation. Multiple HQ solutions may correspond to an LQ input in this poorly posed problem, creating an ambiguous solution space. This motivates the investigation and incorporation of prior knowledge in order to effectively constrain the solution space and enhance the quality of the restored images. In spite of the pervasive use of hand-crafted and learned priors in IR, limited attention has been paid to the incorporation of knowledge from large-scale foundation models. In this paper, we for the first time leverage the prior knowledge of the state-of-the-art segment anything model (SAM) to boost the performance of existing IR networks in an parameter-efficient tuning manner. In particular, the choice of SAM is based on its robustness to image degradations, such that HQ semantic masks can be extracted from it. In order to leverage semantic priors and enhance restoration quality, we propose a lightweight SAM prior tuning (SPT) unit. This plug-and-play component allows us to effectively integrate semantic priors into existing IR networks, resulting in significant improvements in restoration quality. As the only trainable module in our method, the SPT unit has the potential to improve both efficiency and scalability. We demonstrate the effectiveness of the proposed method in enhancing a variety of methods across multiple tasks, such as image super-resolution and color image denoising.

研究动机与目标

• 通过引入高层语义先验来约束解空间，以应对图像恢复问题的病态性。
• 探索大规模基础模型（特别是SAM）作为图像恢复中稳健且可迁移先验的潜力。
• 开发一种即插即用、参数高效的调优机制，将语义先验整合到现有图像恢复网络中，而无需重新训练主干网络。
• 通过融合SAM生成的语义掩码与低层特征，提升超分辨率和去噪等任务的恢复质量。

提出的方法

• 使用预训练且冻结的Segment Anything Model（SAM）从低质量（LQ）图像中提取语义掩码，利用其对退化具有鲁棒性。
• 设计一种轻量级可训练的SAM先验调优（SPT）模块，作为插件式模块，将语义先验注入现有图像恢复网络的中间特征中。
• 采用可学习的门控机制，并引入超参数α来控制语义先验与特征图的融合，实现自适应集成。
• 应用参数高效的调优方案，仅更新SPT模块的参数，同时保持主图像恢复网络冻结，以确保效率与可扩展性。
• 通过不同密度的规则网格（8×8、16×16、24×24）提示SAM，生成粗粒度、中等粒度和细粒度掩码，相应调整输入通道维度。
• 通过少量训练迭代（约8,000次）优化SPT模块，实现与全量微调相当的性能，但参数量和训练步数显著减少。

实验结果

研究问题

• RQ1 从类似SAM这样的基础模型中提取的语义先验是否能有效提升图像恢复性能？
• RQ2 如何高效且有效地将SAM的语义先验与现有图像恢复网络中的低层特征融合？
• RQ3 当使用SAM作为先验时，掩码粒度（从粗到细）对恢复质量有何影响？
• RQ4 所提出的参数高效调优方案与全量微调相比，在性能和训练效率方面表现如何？
• RQ5 将SAM掩码用作先验时的失败模式是什么，它们如何影响图像保真度？

主要发现

• 所提出的SPT模块在Set5数据集上实现图像超分辨率的PSNR为32.5648，相比基线ART网络提升+0.2568。
• 使用细粒度SAM掩码（24×24网格）时性能最佳（PSNR = 32.5737），证实更高分辨率的语义先验可提升恢复质量。
• 最优超参数α = 1.0时性能最佳，当α过小或过大时结果均不理想，表明融合需保持平衡。
• 所提出的调优方案在性能上可与全量微调媲美，但仅需约8,000次迭代，且可训练参数数量显著更少。
• 该方法在某些情况下引入了伪影，例如船帆上出现的网格状结构，表明视觉合理性与真实值保真度之间存在权衡。
• SPT模块在多种图像恢复任务中均表现有效，包括图像超分辨率和彩色图像去噪，展现出广泛适用性。