[论文解读] Evaluating COPY-BLEND Augmentation for Low Level Vision Tasks

Pranjay Shyam, Sandeep Singh Sengar+2 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 18被引用 8

一句话总结

该论文提出了一种基于区域的数据增强方法 Copy-Blend，通过从噪声图像和干净图像中复制并混合图像块，以提升低层次视觉任务（如低光照图像增强、去雾和去模糊）的性能。通过保持空间一致性并引入可变的退化强度，Copy-Blend 提升了模型性能，减少了对训练数据的需求，并实现了更早的收敛，且无需修改主干网络。

ABSTRACT

Region modification-based data augmentation techniques have shown to improve performance for high level vision tasks (object detection, semantic segmentation, image classification, etc.) by encouraging underlying algorithms to focus on multiple discriminative features. However, as these techniques destroy spatial relationship with neighboring regions, performance can be deteriorated when using them to train algorithms designed for low level vision tasks (low light image enhancement, image dehazing, deblurring, etc.) where textural consistency between recovered and its neighboring regions is important to ensure effective performance. In this paper, we examine the efficacy of a simple copy-blend data augmentation technique that copies patches from noisy images and blends onto a clean image and vice versa to ensure that an underlying algorithm localizes and recovers affected regions resulting in increased perceptual quality of a recovered image. To assess performance improvement, we perform extensive experiments alongside different region modification-based augmentation techniques and report observations such as improved performance, reduced requirement for training dataset, and early convergence across tasks such as low light image enhancement, image dehazing and image deblurring without any modification to baseline algorithm.

研究动机与目标

• 为解决在使用标准区域修改型数据增强方法时，因破坏空间一致性而导致低层次视觉任务性能不佳的问题。
• 探究复制-混合增强策略是否能在不改变网络架构的前提下，提升低层次恢复任务中模型的泛化能力和鲁棒性。
• 评估 Copy-Blend 是否能够减少成对训练数据集的所需规模，并加速训练收敛。
• 在多个低层次视觉基准上，将 Copy-Blend 与现有增强方法（如 CutMix、CutOut、MixUp、CutBlur）进行对比。

提出的方法

• Copy-Blend 构建一个混合掩码，将干净图像中的图像块转移到带噪声的输入图像中（反之亦然），以保持空间关系并调节退化强度。
• 该方法使用浮点掩码（α ∈ [0,1]）对图像块进行混合，实现平滑过渡，避免因锐利边缘而干扰特征学习。
• 采用随机的图像块形状和大小，实验表明每张图像使用两个方形图像块时性能最佳。
• 该增强方法在训练过程中应用，且不修改底层神经网络架构。
• 使用 PSNR、SSIM 和 NIQE 在标准基准数据集 LOL、NTIRE-19、GO-PRO 和 SICE 上评估性能。
• 实验包括对图像块数量、形状以及训练数据比例的消融研究，以评估数据效率和收敛速度。

实验结果

研究问题

• RQ1 与标准增强方法相比，Copy-Blend 是否在低光照增强、去雾和去模糊等低层次视觉任务中实现了性能提升？
• RQ2 Copy-Blend 是否能够在保持峰值性能的前提下，减少成对训练数据集的所需规模？
• RQ3 与基线方法及其他增强策略相比，Copy-Blend 是否能实现更早的模型收敛？
• RQ4 增强图像块的数量和形状如何影响模型性能？

主要发现

• Copy-Blend 在所有评估任务中均取得了最高的 PSNR 和 SSIM：在 LOL 数据集上，DLN 模型的 PSNR/SSIM 分别为 21.47/0.86；在 NTIRE-19 数据集上，MSNet 模型的 PSNR/SSIM 分别为 14.27/0.62；在 GO-PRO 数据集上，DeblurGANv2 模型的 PSNR/SSIM 分别为 29.91/0.93。
• 性能提升在去雾和去模糊任务中最为显著，Copy-Blend 超过了 CutBlur 和其他区域修改型方法。
• 仅使用原始训练数据的 20% 时，采用 Copy-Blend 的模型即可达到与使用完整数据集进行基线增强训练时相当的峰值性能。
• Copy-Blend 实现了更早的收敛，其峰值性能在更少的训练轮次内达到，优于基线和其他增强技术。
• 最优配置为每张图像使用两个方形图像块，其他形状和更高图像块数量均导致性能下降。
• 在 LOL 数据集上，Copy-Blend 将 NIQE（感知质量指标）从 3.05 降低至 2.84，表明感知质量得到改善。