[论文解读] Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection

Xin Feng, Yifeng Xu+2 more|arXiv (Cornell University)|Aug 27, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种分层对比学习框架，用于实现模式泛化的图像损坏检测，通过学习损坏区域与未损坏区域之间的语义对比，而非依赖语义模式来检测损坏区域。该方法采用从粗到精的掩码预测，并结合专门设计的分层交互机制，在诸如涂鸦、噪声和水印等多样化的损坏模式下实现了最先进性能和强大的泛化能力。

ABSTRACT

Effective image restoration with large-size corruptions, such as blind image inpainting, entails precise detection of corruption region masks which remains extremely challenging due to diverse shapes and patterns of corruptions. In this work, we present a novel method for automatic corruption detection, which allows for blind corruption restoration without known corruption masks. Specifically, we develop a hierarchical contrastive learning framework to detect corrupted regions by capturing the intrinsic semantic distinctions between corrupted and uncorrupted regions. In particular, our model detects the corrupted mask in a coarse-to-fine manner by first predicting a coarse mask by contrastive learning in low-resolution feature space and then refines the uncertain area of the mask by high-resolution contrastive learning. A specialized hierarchical interaction mechanism is designed to facilitate the knowledge propagation of contrastive learning in different scales, boosting the modeling performance substantially. The detected multi-scale corruption masks are then leveraged to guide the corruption restoration. Detecting corrupted regions by learning the contrastive distinctions rather than the semantic patterns of corruptions, our model has well generalization ability across different corruption patterns. Extensive experiments demonstrate following merits of our model: 1) the superior performance over other methods on both corruption detection and various image restoration tasks including blind inpainting and watermark removal, and 2) strong generalization across different corruption patterns such as graffiti, random noise or other image content. Codes and trained weights are available at https://github.com/xyfJASON/HCL .

研究动机与目标

• 为解决大规模图像损坏（如盲修复和水印去除）中精确且模式泛化的损坏掩码检测挑战。
• 克服现有方法（如VCNet）依赖学习损坏语义模式的局限性，从而在未见或不规则损坏模式下泛化能力差的问题。
• 开发一种通用的盲图像修复框架，可自动检测损坏掩码，并在不了解损坏形状或外观的前提下引导高质量修复。
• 通过利用从粗到精的对比学习，并借助新颖的分层交互机制实现跨尺度知识传播，提升性能与效率。

提出的方法

• 该方法采用分层对比学习框架，首先通过低分辨率特征进行对比学习，预测粗粒度的损坏掩码。
• 随后，利用细粒度特征在高分辨率下进行对比学习，仅对低置信度像素进行优化，以提高效率，从而细化粗掩码中的不确定区域。
• 专门设计的分层交互机制实现了跨阶段语义一致性与高质量样本选择，促进粗粒度与细粒度阶段之间的知识迁移。
• 该框架学习一个嵌入空间，使损坏区域与未损坏区域在语义上被对比分离，避免依赖语义模式识别。
• 检测到的多尺度掩码引导从粗到精的生成式修复过程，从而提升修复质量。
• 模型通过对比损失端到端训练，以最大化不同尺度下损坏区域与未损坏区域之间的语义区分度。

实验结果

研究问题

• RQ1 基于对比学习的方法是否能在多样且未见的损坏模式下，优于依赖模式识别的方法（如VCNet）？
• RQ2 从粗到精的分层对比学习框架在实现高精度与高效率的损坏掩码检测方面效果如何？
• RQ3 所提出的分层交互机制在提升跨尺度知识迁移与性能方面有何贡献？
• RQ4 该模型在未见的损坏类型（如涂鸦、随机噪声或训练中未见的真实图像块）上的泛化能力如何？

主要发现

• 所提方法在损坏检测任务上达到最先进性能，在泛化基准上的平均F1得分为0.986，IoU为0.975，显著优于VCNet。
• 在盲图像修复任务中，模型在涂鸦损坏上的PSNR达到37.69，SSIM为0.985，优于VCNet（PSNR: 32.66，SSIM: 0.963），并匹配或超越专用方法。
• 在水印去除任务中，模型达到PSNR 41.88，SSIM 0.992，FID 0.007，优于最先进方法Split then Refine（FID: 0.011）。
• 消融实验表明，分层交互机制（尤其是跨阶段语义一致性）至关重要——移除该机制后，F1下降0.002，IoU下降0.015。
• 该模型对未见损坏模式具有强泛化能力：在未见的涂鸦与噪声上，其检测准确率保持较高水平（F1 > 0.97），而VCNet性能显著下降。
• 与VCNet相比，该方法在水印去除任务中FID降低50%，在阴影去除任务中降低25%，展现出在多样化修复任务中的鲁棒性。