[论文解读] Learning to Sample the Most Useful Training Patches from Images

Shuyang Sun, Liang Chen+2 more|arXiv (Cornell University)|Nov 24, 2020

Advanced Image Processing Techniques参考文献 42被引用 7

一句话总结

本文提出 PatchNet，一种数据驱动的主动学习方法，可自动识别并优先处理图像恢复任务（如去马赛克和联合去噪与去马赛克）中最具信息量（困难）的训练图像块。通过学习每个图像块的可训练性权重，并利用可微分二值化机制应用这些权重，PatchNet 在不增加推理成本的情况下，将泛化性能提升了 2.35 dB（PSNR），在多个基准测试中达到最先进水平。

ABSTRACT

Some image restoration tasks like demosaicing require difficult training samples to learn effective models. Existing methods attempt to address this data training problem by manually collecting a new training dataset that contains adequate hard samples, however, there are still hard and simple areas even within one single image. In this paper, we present a data-driven approach called PatchNet that learns to select the most useful patches from an image to construct a new training set instead of manual or random selection. We show that our simple idea automatically selects informative samples out from a large-scale dataset, leading to a surprising 2.35dB generalisation gain in terms of PSNR. In addition to its remarkable effectiveness, PatchNet is also resource-friendly as it is applied only during training and therefore does not require any additional computational cost during inference.

研究动机与目标

• 为解决图像恢复数据集中长尾分布问题，即高频率、困难的图像块代表性不足。
• 减少对人工筛选困难训练样本的依赖，后者耗时且非最优。
• 提升模型泛化能力，特别是在训练与测试数据分布不一致的情况下。
• 开发一种轻量级、仅训练阶段可用的机制，提升学习效率而不增加推理成本。
• 实现基于图像块内在难度的自动、自适应信息图像块选择。

提出的方法

• PatchNet 是一个前馈卷积神经网络，处理图像块并输出一个表示其训练有用性的逐图像块可训练性标量。
• 每个图像块通过一个可微分二值化函数分配非负权重，该函数由一个可学习的温度超参数控制。
• 通过逐元素乘法将可训练性图应用于损失计算，掩蔽掉低价值图像块。
• 整个框架（包括 PatchNet 和图像恢复主干网络）通过加权损失函数端到端进行训练。
• 设计了一种新颖的网络架构 RestoreNet，以利用 PatchNet 提取的结构知识。
• 二值化函数采用基于 Sigmoid 的软正幂近似，通过温度控制的锐度，实现稳定性和稀疏性的平衡。

实验结果

研究问题

• RQ1 数据驱动方法能否自动识别并优先处理图像恢复任务中的最具信息量的训练图像块？
• RQ2 学习采样困难图像块是否能提升模型泛化能力，尤其是在训练与测试数据分布不一致的情况下？
• RQ3 PatchNet 是否能在不增加推理计算成本的前提下提升性能？
• RQ4 图像块的自适应选择如何影响图像恢复网络的学习动态？
• RQ5 PatchNet 在去马赛克和联合去噪/去马赛克等长尾问题上的性能提升程度如何？

主要发现

• 当训练与测试数据分布不一致时，PatchNet 在去马赛克任务中实现了 2.35 dB 的 PSNR 提升，证明了其强大的泛化能力。
• 即使训练数据主要由简单、低频图像块主导，PatchNet 仍能主动选择边缘和纹理等高频率区域，表现有效。
• PatchNet 在更具挑战性的噪声水平（如 σ = 15）下表现更优，证实其在长尾场景中的实用性。
• 可训练性图在训练过程中动态演化，PatchNet 会逐渐降低对模型优化后变得容易的图像块的优先级。
• 使用 PatchNet 训练的 RestoreNet 在 Vimeo-90k、MIT Moire 和 DIV-2k 数据集上，于联合去噪与去马赛克任务中达到最先进性能。
• 可视化结果表明，PatchNet 优先保留高频率、高对比度区域（如网格和边缘），这些区域更容易产生伪影。