[论文解读] Is Image Super-resolution Helpful for Other Vision Tasks?

Dengxin Dai, Yujian Wang+2 more|arXiv (Cornell University)|Sep 23, 2015

Advanced Image Processing Techniques参考文献 42被引用 10

一句话总结

本文研究了图像超分辨率（ISR）是否能提升下游视觉任务的性能，评估了六种ISR方法在边缘检测、语义分割、数字识别和场景识别任务中的表现。结果表明，ISR在低分辨率输入下能持续提升准确率，尽管感知指标（如PSNR、SSIM等）与实际任务性能相关性良好，但不足以作为真实任务效用的完整代理。

ABSTRACT

Despite the great advances made in the field of image super-resolution (ISR) during the last years, the performance has merely been evaluated perceptually. Thus, it is still unclear whether ISR is helpful for other vision tasks. In this paper, we present the first comprehensive study and analysis of the usefulness of ISR for other vision applications. In particular, six ISR methods are evaluated on four popular vision tasks, namely edge detection, semantic image segmentation, digit recognition, and scene recognition. We show that applying ISR to input images of other vision systems does improve their performance when the input images are of low-resolution. We also study the correlation between four standard perceptual evaluation criteria (namely PSNR, SSIM, IFC, and NQM) and the usefulness of ISR to the vision tasks. Experiments show that they correlate well with each other in general, but perceptual criteria are still not accurate enough to be used as full proxies for the usefulness. We hope this work will inspire the community to evaluate ISR methods also in real vision applications, and to adopt ISR as a pre-processing step of other vision tasks if the resolution of their input images is low.

研究动机与目标

• 确定当输入图像为低分辨率时，图像超分辨率（ISR）是否能提升下游视觉任务的性能。
• 评估标准感知评价指标（PSNR、SSIM、IFC、NQM）与ISR在视觉任务中实际效用的相关性。
• 评估ISR是否可作为低分辨率输入视觉流水线中的预处理步骤。
• 提供实证证据表明，ISR的益处不仅限于感知质量，尤其在训练和测试数据分辨率不同时更为显著。
• 激励社区在真实视觉应用中评估ISR方法，而不仅限于感知质量。

提出的方法

• 评估了六种具有代表性的ISR方法：Zeyde等人、ANR、A+、SRCNN、JOR和SRF，选择标准为流行度、代码可得性及计算效率。
• 将每种ISR方法应用于四个基准数据集的下采样图像（x3和x4）：BSDS500（边缘检测）、PASCAL VOC 2012（语义分割）、MNIST（数字识别）和Scene-15（场景识别）。
• 为每项任务使用标准视觉模型：边缘检测使用HED，语义分割使用FCN-8s，数字识别使用简单CNN，场景识别使用预训练的ImageNet CNN。
• 在所有实验中从同一网络层（例如第16层）提取特征，以确保输入表示的一致性。
• 比较使用低分辨率输入、通过ISR生成的超分辨率输入以及原始高分辨率输入的性能表现。
• 报告每种ISR方法及输入尺度下的准确率和感知指标（PSNR、SSIM、IFC、NQM）。

实验结果

研究问题

• RQ1 将图像超分辨率应用于低分辨率输入是否能提升边缘检测、语义分割、数字识别和场景识别等下游视觉任务的性能？
• RQ2 标准感知指标（PSNR、SSIM、IFC、NQM）与ISR方法在提升视觉任务性能方面的实际效用相关性如何？
• RQ3 当输入图像分辨率较低时，ISR是否可作为视觉系统中可靠的预处理步骤？
• RQ4 ISR带来的性能提升与原始高分辨率图像相比，其差距在多大程度上仍显著？
• RQ5 是否存在即使训练和测试数据分辨率相同，ISR仍能带来显著收益的情况？

主要发现

• 在所有四项视觉任务中，对低分辨率输入应用图像超分辨率均能持续提升性能，准确率提升幅度在0.5%至3.5%之间，优于双三次插值方法。
• 在MNIST数字识别任务中，最佳ISR方法（SRF）在x4下采样图像上达到80.9%的准确率，优于双三次插值（77.0%），并接近原始高分辨率图像的80.9%准确率。
• 在Scene-15场景识别任务中，最佳ISR方法（SRF）在x4尺度下达到75.4%的准确率，超过双三次插值的73.5%，并接近原始80.9%的准确率。
• 感知指标（PSNR、SSIM、IFC、NQM）与任务性能总体相关，但不足以准确作为ISR在视觉任务中效用的完整代理。
• 即使使用最先进的ISR方法，超分辨率图像的性能仍显著低于原始高分辨率图像，表明仍有改进空间。
• 结果验证了ISR不仅对视觉质量有益，也对实际视觉系统性能具有实际价值，尤其在输入分辨率较低时更为显著。