[论文解读] An Attention-Based Approach for Single Image Super Resolution

Yuan Liu, Yuancheng Wang+5 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Image Processing Techniques参考文献 32被引用 5

一句话总结

该论文提出了一种基于注意力机制的深度学习框架，用于单图像超分辨率（SISR），可显式识别高频纹理区域并选择性增强。通过集成一种新型的DenseRes模块用于特征融合，以及一种混合U-Net注意力机制以聚焦于纹理丰富的区域，该方法在基准数据集上实现了最先进性能，相较于VDSR提升0.54 dB PSNR，相较于DRCN提升0.52 dB PSNR。

ABSTRACT

The main challenge of single image super resolution (SISR) is the recovery of high frequency details such as tiny textures. However, most of the state-of-the-art methods lack specific modules to identify high frequency areas, causing the output image to be blurred. We propose an attention-based approach to give a discrimination between texture areas and smooth areas. After the positions of high frequency details are located, high frequency compensation is carried out. This approach can incorporate with previously proposed SISR networks. By providing high frequency enhancement, better performance and visual effect are achieved. We also propose our own SISR network composed of DenseRes blocks. The block provides an effective way to combine the low level features and high level features. Extensive benchmark evaluation shows that our proposed method achieves significant improvement over the state-of-the-art works in SISR.

研究动机与目标

• 为解决现有方法在单图像超分辨率（SISR）中难以恢复高频细节（如微小纹理）的问题，这些细节常被模糊化。
• 开发一种机制，可显式识别并选择性增强高频纹理区域，而非对所有区域进行统一恢复。
• 改善低层次与高层次特征之间的特征融合，以更好地重建精细细节。
• 设计一种可插拔的注意力模块，可集成至现有SISR网络中以提升性能。

提出的方法

• 引入DenseRes模块，一种具有密集跳跃连接的残差块架构，可增强特征流动并减少梯度消失。
• 提出一种混合密集连接U-Net作为注意力机制，以区分纹理丰富的区域与平滑区域。
• 利用注意力图作为特征选择器，选择性放大高频特征，同时抑制平滑区域中的噪声。
• 结合感知损失与对抗性损失，以及MSE损失，以提升视觉质量与结构相似性。
• 将注意力模块作为可插拔组件集成至现有SISR网络（如SRResNet、VDSR、DRCN）中，以提升性能。
• 采用内容损失、感知损失与对抗性损失的组合进行网络训练，以同时优化PSNR与视觉合理性。

实验结果

研究问题

• RQ1 注意力机制是否能有效用于识别并增强SISR中的高频纹理区域？
• RQ2 所提出的DenseRes模块是否能改善SISR网络中的特征融合与训练稳定性？
• RQ3 该注意力机制是否具备通用性，可被集成至现有SISR架构中以提升性能？
• RQ4 所提方法在PSNR与视觉质量方面，与当前最先进SISR方法相比，其定量与定性表现如何？

主要发现

• 所提方法在标准基准数据集上相较于VDSR提升0.54 dB PSNR，相较于DRCN提升0.52 dB PSNR。
• 当将注意力机制集成至SRResNet、VDSR与DRCN时，显著提升了收敛速度与测试性能，分别获得0.15 dB、0.093 dB与0.18 dB的增益。
• 视觉对比显示，所提方法在恢复精细纹理与边缘方面优于SRCNN、DRCN、VDSR及其他SOTA方法。
• 该方法在所有对比方法中取得最高的SSIM分数，表明其具有更优的结构保持能力。
• 注意力机制能有效抑制平滑区域中的噪声，同时增强纹理细节，减少输出图像的模糊性。
• 注意力模块的可插拔特性使其可应用于多种SISR网络，展现出广泛的适用性与一致的性能提升。