[论文解读] Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration

Xin Li, Xin Jin+6 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Image Processing Techniques参考文献 43被引用 8

一句话总结

该论文提出FDR-Net，一种用于混合失真图像复原的新颖框架，通过学习解耦的特征表示来减少多种失真之间的干扰。通过引入基于改进增益控制归一化的特征解耦模块（FDM）以及具有通道注意力机制的特征聚合模块（FAM），该方法将特定于失真的特征分离到不同通道，并自适应地重建干净图像，在混合失真基准上实现最先进性能，并在单失真任务中表现出强鲁棒性。

ABSTRACT

Hybrid-distorted image restoration (HD-IR) is dedicated to restore real distorted image that is degraded by multiple distortions. Existing HD-IR approaches usually ignore the inherent interference among hybrid distortions which compromises the restoration performance. To decompose such interference, we introduce the concept of Disentangled Feature Learning to achieve the feature-level divide-and-conquer of hybrid distortions. Specifically, we propose the feature disentanglement module (FDM) to distribute feature representations of different distortions into different channels by revising gain-control-based normalization. We also propose a feature aggregation module (FAM) with channel-wise attention to adaptively filter out the distortion representations and aggregate useful content information from different channels for the construction of raw image. The effectiveness of the proposed scheme is verified by visualizing the correlation matrix of features and channel responses of different distortions. Extensive experimental results also prove superior performance of our approach compared with the latest HD-IR schemes.

研究动机与目标

• 为解决真实世界图像复原中多种共现图像失真之间的干扰挑战。
• 通过在特征层面学习解耦表示，实现对混合失真的特征级分而治之。
• 通过基于新型归一化模块的解耦方法，将特定于失真的特征分解到独立通道，从而提升复原性能。
• 通过通道注意力机制自适应聚合内容相关特征，提升特征利用效率。
• 在去模糊和去雨等单失真任务上验证该方法的鲁棒性。

提出的方法

• 提出一种特征解耦模块（FDM），通过改进基于增益控制的归一化方法，将不同失真类型的特征分配到独立通道。
• 采用改进的归一化机制，降低通道间的特征相关性，实现对单个失真的通道级表示。
• 引入具有通道注意力机制的特征聚合模块（FAM），以过滤特定于失真的特征并重建干净图像内容。
• 采用多阶段编码器-解码器架构，结合残差块与辅助监督，以稳定训练并提升特征学习能力。
• 在FAM中利用增益控制归一化的逆变换，从解耦表示中重建高质量特征。
• 在包含DID-HY、Gopro和DID-MDN的混合失真数据集上端到端训练网络，并以PSNR和SSIM作为评估指标。

实验结果

研究问题

• RQ1 解耦特征学习是否能有效减少真实世界图像中多种共现失真之间的干扰？
• RQ2 能否通过改进的归一化机制，将不同失真的特征表示有效分离到独立通道？
• RQ3 与端到端融合相比，通过通道注意力机制实现的自适应特征聚合是否能提升图像复原质量？
• RQ4 所提出的FDR-Net是否能泛化到去模糊和去雨等单失真任务？
• RQ5 FDM、FAM以及多阶段设计等架构组件如何影响性能与特征解耦效果？

主要发现

• FDR-Net在DID-HY数据集上达到最先进性能，PSNR为24.97，SSIM为0.680，优于先前方法。
• 消融实验表明，FDM和FAM至关重要，若移除二者，PSNR将下降1.06 dB（从24.97降至23.91）。
• 使用三个FD层和32个通道可实现最优性能，进一步增加通道数或层数则收益递减。
• 多阶段设计可提升性能，六阶段时达到饱和（PSNR: 24.97，SSIM: 0.680）。
• 在Gopro数据集上的去模糊任务中，FDR-Net实现PSNR为30.12，优于DeepDeblur和Deblurgan。
• 在DID-MDN数据集上的去雨任务中，FDR-Net实现PSNR为32.96，SSIM为0.951，优于SPANET和RESCAN。