[论文解读] Finding Discriminative Filters for Specific Degradations in Blind Super-Resolution

Liangbin Xie, Xintao Wang+3 more|arXiv (Cornell University)|Aug 2, 2021

Image Processing Techniques and ApplicationsEngineering被引用 19

一句话总结

本文提出 FAIG，一种基于参数空间积分梯度的新型滤波器归因方法，用于在一分支无监督超分网络中识别最少数量的判别性滤波器（低至1%），以实现自动退化预测。该方法揭示了滤波器权重、位置和连接方式共同实现无需显式监督的隐式退化分类，为高效无监督超分架构的设计提供了可解释性与设计洞见。

ABSTRACT

Recent blind super-resolution (SR) methods typically consist of two branches, one for degradation prediction and the other for conditional restoration. However, our experiments show that a one-branch network can achieve comparable performance to the two-branch scheme. Then we wonder: how can one-branch networks automatically learn to distinguish degradations? To find the answer, we propose a new diagnostic tool -- Filter Attribution method based on Integral Gradient (FAIG). Unlike previous integral gradient methods, our FAIG aims at finding the most discriminative filters instead of input pixels/features for degradation removal in blind SR networks. With the discovered filters, we further develop a simple yet effective method to predict the degradation of an input image. Based on FAIG, we show that, in one-branch blind SR networks, 1) we are able to find a very small number of (1%) discriminative filters for each specific degradation; 2) The weights, locations and connections of the discovered filters are all important to determine the specific network function. 3) The task of degradation prediction can be implicitly realized by these discriminative filters without explicit supervised learning. Our findings can not only help us better understand network behaviors inside one-branch blind SR networks, but also provide guidance on designing more efficient architectures and diagnosing networks for blind SR.

研究动机与目标

• 探究一维分支无监督超分网络是否能在无显式双分支监督的情况下，隐式学习区分特定退化类型（如模糊和噪声）的能力。
• 开发一种诊断工具，能够识别在统一网络中负责特定退化去除的最小滤波器集合。
• 理解滤波器权重、空间位置与连接性在单分支架构中如何共同决定其在退化特异性功能中的作用。
• 探索是否可通过发现的滤波器实现隐式退化预测，而无需额外训练或监督。
• 提供可解释性洞见，以指导更高效、更鲁棒的无监督超分模型设计。

提出的方法

• 提出 FAIG（基于积分梯度的滤波器归因），该方法通过追踪参数空间路径上滤波器参数变化所引起的网络功能变化，而非输入像素或特征，来实现归因。
• 沿参数路径使用基于梯度的归因方法，识别在一维分支超分网络中对特定退化（如模糊、噪声）去除贡献最大的滤波器。
• 在归因过程中应用梯度消除策略，以隔离特定退化目标下滤波器的贡献，同时保持对其他退化类型的处理功能。
• 利用滤波器激活幅度上的学习阈值开发退化预测机制，实现在无需微调或标注退化数据情况下的推理。
• 可视化并分析发现滤波器在各网络层中的空间分布与连接性，以研究其功能专业化特征。
• 在标准基准数据集（Set14、DIV2K、BSD100）上，对 SRCNN 风格和 SRResNet 基础的无监督超分模型验证研究结果。

实验结果

研究问题

• RQ1 统一的一维分支无监督超分网络是否能在无显式监督的情况下，隐式学习区分不同类型图像退化的能力？
• RQ2 在一维分支网络中，实现特定退化去除所需的最小滤波器集合是什么？
• RQ3 滤波器权重、空间位置与连接性如何共同决定其在退化特异性恢复中的功能角色？
• RQ4 是否可通过滤波器激活模式实现隐式退化预测，而无需额外训练或标签？
• RQ5 在不同退化类型（如模糊与噪声）下，判别性滤波器在网络架构中的分布有何差异？

主要发现

• 所提出的 FAIG 方法成功在一维分支无监督超分网络中识别出仅占1%的滤波器，这些滤波器负责去除特定退化（如模糊和噪声）。
• 滤波器权重、空间位置与连接性均对网络执行退化特异性恢复的能力至关重要，表明其具有分布式但功能专门化的组织结构。
• 在 DIV2K 数据集上，仅通过滤波器激活阈值，噪声预测准确率达98%，模糊预测准确率达96%，且无需对退化标签进行任何监督训练。
• 去模糊与去噪滤波器在空间分布上存在差异：去模糊滤波器集中分布在深层，而去噪滤波器则更均匀分布，表明存在功能专业化与分工。
• 归因过程中的梯度消除技术至关重要——若无此技术，某一退化类型的滤波器可能无意中影响其他退化功能，从而降低判别能力。
• 研究结果表明，一维分支网络通过自监督训练隐式学习到类似双分支设计的功能分解，每个退化类型均涌现出专用子网络。