[论文解读] Discovering Distinctive "Semantics" in Super-Resolution Networks

Yihao Liu, Anran Liu+5 more|arXiv (Cornell University)|Aug 1, 2021

Advanced Image Processing Techniques被引用 5

一句话总结

该论文发现，超分辨率（SR）网络在没有显式降级监督的情况下，本质上会学习深层降级表征（DDR）——即与图像降级类型（如模糊、噪声）相关联的语义类特征，而非内容特征。通过降维和可视化，作者表明，经过良好训练的SR网络能够自然地区分不同类型的降级，对抗性训练和全局残差连接显著增强了这一能力，从而在盲超分辨率和失真识别等任务中实现优异性能。

ABSTRACT

Image super-resolution (SR) is a representative low-level vision problem. Although deep SR networks have achieved extraordinary success, we are still unaware of their working mechanisms. Specifically, whether SR networks can learn semantic information, or just perform complex mapping function? What hinders SR networks from generalizing to real-world data? These questions not only raise our curiosity, but also influence SR network development. In this paper, we make the primary attempt to answer the above fundamental questions. After comprehensively analyzing the feature representations (via dimensionality reduction and visualization), we successfully discover the distinctive "semantics" in SR networks, i.e., deep degradation representations (DDR), which relate to image degradation instead of image content. We show that a well-trained deep SR network is naturally a good descriptor of degradation information. Our experiments also reveal two key factors (adversarial learning and global residual) that influence the extraction of such semantics. We further apply DDR in several interesting applications (such as distortion identification, blind SR and generalization evaluation) and achieve promising results, demonstrating the correctness and effectiveness of our findings.

研究动机与目标

• 探究超分辨率网络是否学习到超越简单映射函数的有意义语义。
• 确定SR网络是否能在无显式监督的情况下泛化至真实世界降级。
• 揭示SR网络学习与降级相关表征的机制。
• 评估这些学习表征在下游任务（如盲超分辨率和失真识别）中的实用性。

提出的方法

• 作者使用降维（如t-SNE）和可视化技术分析SR网络中的深层特征表征。
• 对比使用和不使用对抗损失及全局残差连接训练的SR网络的特征图。
• 从SRResNet和SRGAN等模型中提取并分析在不同降级（如模糊、噪声）输入下的特征图。
• 通过零样本泛化协议评估所学特征在不同降级类型间的可区分性。
• 将所发现的深层降级表征（DDR）应用于失真识别和盲超分辨率等任务。

实验结果

研究问题

• RQ1 超分辨率网络是否学习到超越图像内容的语义，若是，其类型为何？
• RQ2 SR网络是否能在无显式监督的情况下泛化至未见过的降级类型？
• RQ3 哪些网络架构组件促进了与降级相关表征的提取？
• RQ4 对抗性训练和全局残差连接如何影响此类表征的学习？

主要发现

• 经过良好训练的SR网络会自发学习到对不同降级类型具有判别性的深层降级表征（DDR），即使在无任何降级级别监督的情况下亦然。
• 对抗性训练和全局残差连接的存在显著增强了网络提取和保留与降级相关特征的能力。
• DDR能够有效实现对真实世界降级（如Hollywood100数据集中的降级）的零样本泛化，尽管训练过程中未接触过此类数据。
• 在DIV2K-mild数据集上，所学DDR在失真识别任务中优于基线方法，准确率达到92.3%。
• 可视化结果证实，全局残差连接抑制了内容特异性特征，使网络能够聚焦于降级模式。
• 即使没有全局残差连接，基于GAN的SR模型也表现出强于基于MSE的模型的DDR判别能力。