[论文解读] Attention-based Image Upsampling

Souvik Kundu, Hesham Mostafa+2 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Image Processing Techniques参考文献 47被引用 6

一句话总结

本文提出了一种基于注意力机制的上采样方法，用于替代深度学习模型中图像超分辨率和联合图像上采样的步长大规模转置卷积。通过使用内容自适应的注意力系数动态计算上采样核，该方法在参数更少的情况下实现了更优的性能，同时通过来自不同源的独立查询、键和值张量，实现了多模态图像的灵活融合。

ABSTRACT

Convolutional layers are an integral part of many deep neural network solutions in computer vision. Recent work shows that replacing the standard convolution operation with mechanisms based on self-attention leads to improved performance on image classification and object detection tasks. In this work, we show how attention mechanisms can be used to replace another canonical operation: strided transposed convolution. We term our novel attention-based operation attention-based upsampling since it increases/upsamples the spatial dimensions of the feature maps. Through experiments on single image super-resolution and joint-image upsampling tasks, we show that attention-based upsampling consistently outperforms traditional upsampling methods based on strided transposed convolution or based on adaptive filters while using fewer parameters. We show that the inherent flexibility of the attention mechanism, which allows it to use separate sources for calculating the attention coefficients and the attention targets, makes attention-based upsampling a natural choice when fusing information from multiple image modalities.

研究动机与目标

• 解决在图像上采样任务中固定核的步长大规模转置卷积的局限性。
• 探究自注意力机制是否能够提升上采样操作中的性能与参数效率。
• 通过解耦查询/键与值的来源，实现在联合上采样中对多模态图像的灵活融合。
• 证明基于注意力的上采样方法在参数更少的情况下，性能优于标准反卷积方法。

提出的方法

• 用基于内容依赖注意力系数动态计算上采样权重的自注意力机制，替代步长大规模转置卷积。
• 使用缩放点积注意力机制从特征图中计算查询、键和值张量，实现动态核生成。
• 允许独立地从不同来源获取查询、键和值张量——例如来自不同图像模态——从而实现多模态融合。
• 将基于注意力的上采样层作为反卷积的即插即用替代品，应用于超分辨率和联合上采样网络。
• 采用内容感知的注意力机制，使核权重根据感受野内容在空间上变化。
• 优化注意力机制以减少参数数量，同时保持或提升相对于固定核方法的性能。

实验结果

研究问题

• RQ1 与步长大规模转置卷积相比，自注意力机制是否能提升图像上采样的性能？
• RQ2 基于注意力的上采样是否能在保持或提升准确率的同时减少参数数量？
• RQ3 基于注意力的上采样是否能自然地整合来自多幅图像模态（如RGB和深度图像）的信息？
• RQ4 与基于标准反卷积的模型相比，基于注意力的上采样机制在效率和准确率方面表现如何？

主要发现

• 在BSDS100数据集上，基于注意力的模型在2倍上采样尺度下达到33.28 dB的PSNR，略高于反卷积基线的33.25 dB。
• 在8倍超分辨率任务中，基于注意力的方法达到24.80 dB的PSNR，优于反卷积方法的24.74 dB，表现出一致的性能提升。
• 在Set5数据集上，基于注意力的模型在2倍上采样尺度下达到36.84 dB的PSNR，略高于反卷积模型的36.86 dB，且在各尺度下趋势相似。
• 基于注意力的模型在保持或提升性能的同时，显著减少了参数数量。
• 在联合图像上采样中，该方法通过从一modality获取查询/键，从另一modality获取值，实现了有效的多模态融合，提升了准确率和参数效率。
• 尽管参数数量更少，但由于深度学习库中缺乏对注意力操作的低级内核优化，训练速度更慢。