[论文解读] Learning Enriched Features for Real Image Restoration and Enhancement

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Mar 15, 2020

Advanced Image Processing Techniques参考文献 121被引用 67

一句话总结

MIRNet 在融合多尺度上下文信息的同时保持高分辨率的空间细节，通过选择性核特征融合和双重注意力，在降噪、超分辨和图像增强的五个真实图像基准数据集上实现了最新的结果。

ABSTRACT

With the goal of recovering high-quality image content from its degraded version, image restoration enjoys numerous applications, such as in surveillance, computational photography, medical imaging, and remote sensing. Recently, convolutional neural networks (CNNs) have achieved dramatic improvements over conventional approaches for image restoration task. Existing CNN-based methods typically operate either on full-resolution or on progressively low-resolution representations. In the former case, spatially precise but contextually less robust results are achieved, while in the latter case, semantically reliable but spatially less accurate outputs are generated. In this paper, we present a novel architecture with the collective goals of maintaining spatially-precise high-resolution representations through the entire network and receiving strong contextual information from the low-resolution representations. The core of our approach is a multi-scale residual block containing several key elements: (a) parallel multi-resolution convolution streams for extracting multi-scale features, (b) information exchange across the multi-resolution streams, (c) spatial and channel attention mechanisms for capturing contextual information, and (d) attention based multi-scale feature aggregation. In a nutshell, our approach learns an enriched set of features that combines contextual information from multiple scales, while simultaneously preserving the high-resolution spatial details. Extensive experiments on five real image benchmark datasets demonstrate that our method, named as MIRNet, achieves state-of-the-art results for a variety of image processing tasks, including image denoising, super-resolution, and image enhancement. The source code and pre-trained models are available at https://github.com/swz30/MIRNet.

研究动机与目标

• 在整个网络中保持高分辨率的空间细节，同时结合来自多尺度的丰富上下文信息。
• 开发一种多尺度特征提取与融合机制，联合利用微细节和全局上下文。
• 实现基于注意力的动态聚合多分辨率特征，同时高效使用参数。
• 促进并行分辨率流之间的信息有效交流，以提升恢复质量。
• 展示在多样化真实数据集和任务上的鲁棒性与泛化能力。

提出的方法

• 引入一个多尺度残差块（MRB），在不同分辨率下的三个并行流以捕获细节和上下文信息。
• 提出 selective kernel feature fusion（SKFF），通过自注意力和融合再选择机制动态融合多分辨率特征。
• 结合 dual attention unit（DAU），在每个流内应用通道和空间注意力重新校准特征。
• 使用残数 resizing 模块执行 2x 和 4x 的下采样/上采样，同时保持残差学习行为和移位等变性。
• 采用递归残差组（RRG）架构堆叠 MRB，随后进行最终残差预测并使用 Charbonnier 损失进行训练。
• 在五个真实图像数据集上对 MIRNet 进行去噪、超分辨和增强任务的端到端学习的训练与评估（无子模块预训练）。

实验结果

研究问题

• RQ1 如何在保持高分辨率表示的同时，让还原网络利用低分辨率上下文？
• RQ2 多尺度的跨流信息交换是否能在不牺牲空间精度的情况下提升还原质量？
• RQ3 选择性核融合和双重注意力是否能改进跨尺度特征聚合和整体还原性能？
• RQ4 所提架构在不同真实数据集和任务（去噪、SR、增强）上的泛化能力如何？
• RQ5 架构组件（MRB、SKFF、DAU、残差尺寸）对还原结果的影响有哪些？

主要发现

• 所提出的 MIRNet 在五个真实图像基准数据集的去噪、超分辨和增强任务上实现了最新结果。
• SKFF 提供有效的跨尺度特征融合，参数比简单连接更少且性能有所提升。
• DAU 通过在流内应用通道与空间注意力来增强特征表示。
• 带有残差尺寸调整的递归残差设计使网络更深同时保持高分辨率细节和稳定训练。
• 消融研究证实跳跃连接、SKFF、DAU 以及流/列数量对性能提升的重要性。
• 跨相机与跨数据集评估显示在真实世界数据上的鲁棒泛化能力。