[论文解读] DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models

Liangbin Xie, Xintao Wang+5 more|arXiv (Cornell University)|Jul 5, 2023

Advanced Image Processing Techniques被引用 11

一句话总结

DeSRA 在真实世界的 GAN-SR 输出中，利用 MSE-SR 与 GAN-SR 结果之间的相对局部方差距离来检测 GAN 推断伪影，然后用伪真值对模型进行微调，以最少数据删除伪影。

ABSTRACT

Image super-resolution (SR) with generative adversarial networks (GAN) has achieved great success in restoring realistic details. However, it is notorious that GAN-based SR models will inevitably produce unpleasant and undesirable artifacts, especially in practical scenarios. Previous works typically suppress artifacts with an extra loss penalty in the training phase. They only work for in-distribution artifact types generated during training. When applied in real-world scenarios, we observe that those improved methods still generate obviously annoying artifacts during inference. In this paper, we analyze the cause and characteristics of the GAN artifacts produced in unseen test data without ground-truths. We then develop a novel method, namely, DeSRA, to Detect and then Delete those SR Artifacts in practice. Specifically, we propose to measure a relative local variance distance from MSE-SR results and GAN-SR results, and locate the problematic areas based on the above distance and semantic-aware thresholds. After detecting the artifact regions, we develop a finetune procedure to improve GAN-based SR models with a few samples, so that they can deal with similar types of artifacts in more unseen real data. Equipped with our DeSRA, we can successfully eliminate artifacts from inference and improve the ability of SR models to be applied in real-world scenarios. The code will be available at https://github.com/TencentARC/DeSRA.

研究动机与目标

• 激励并解决在未见真实数据推理阶段出现的 GAN 推断伪影，而非在训练时。
• 提出一种定量的、语义感知的伪影检测机制，该机制在真实测试数据上无需真实标签。
• 提供一种轻量级微调策略，利用来自 MSE-SR 结果的伪真值来降低伪影。
• 在 Real-ESRGAN 和 LDL 模型上展示在有限附加数据下的有效性。
• 展示在真实场景中的感知质量和伪影抑制的改善。

提出的方法

• 计算 MSE-SR 与 GAN-SR 补丁中的局部纹理方差，推导出一个归一化且语义上调整的相对伪影距离 D。
• 使用基于 SegFormer 的语义区域，通过85百分位统计为每个类别自适应伪影检测权重。
• 使用形态学运算生成最终伪影掩膜，以界定伪影区域。
• 通过使用伪影掩膜将 MSE-SR 结果合并到 GAN-SR 输出中来创建伪真值，并对 GAN-SR 模型进行短时微调（约 1k 次迭代）。
• 使用 IoU、Precision、Recall 与人工标注的伪影图进行对比来评估检测，并通过定性分析和用户研究证据评估伪影移除。

实验结果

研究问题

• RQ1 在 GAN-SR 推理的未见真实数据中会出现哪些类型的 GAN 推断伪影？
• RQ2 如何在真实数据上无需真实标签自动检测伪影区域？
• RQ3 使用伪真值的轻量级微调策略是否能在未见数据上减少 GAN 推断伪影，同时不降低非伪影区域的性能？
• RQ4 在真实场景中，DeSRA 在最先进的 GAN-SR 模型 Real-ESRGAN 与 LDL 上的表现如何？

主要发现

方法	IoU（↑）	Precision	Recall
NIQE	2.9	0.0494	0.1054
PAL4Inpainting	8.4	0.0855	0.0992
LDL*(threshold=0.01)	29.9	0.3504	0.3485
LDL*(threshold=0.005)	36.2	0.2618	0.5442
LDL*(threshold=0.001)	35.3	0.1410	0.8391
DeSRA-det (ours)	51.1	0.7055	0.6081

• DeSRA 在 Real-ESRGAN 与 LDL 上的伪影检测 IoU 与 精度超过 NIQE、PAL4Inpainting 与改进 LDL 基线。IoU 以 DeSRA-det 达到 51.1，而基线为 2.9–36.2，精度最高可达 0.7055。
• 使用 DeSRA 微调将伪影区域减少 75.4%（Real-ESRGAN 的 IoU 从 51.1 降至 12.9），LDL 减少 74.97%（IoU 从 44.5 降至 13.9），且没有新增伪影。
• 用户研究显示 82.23% 的参与者认为微调后的结果比原始 GAN-SR 输出的伪影更少，93% 认为比 MSE-SR 输出更细节。
• 该方法仅使用一个小型数据集（50 对训练样本）和大约 1000 次微调迭代即可有效抑制未见真实数据上的 GAN 推断伪影。