[论文解读] Enhancing Multi-Scale Implicit Learning in Image Super-Resolution with Integrated Positional Encoding

Ying-Tian Liu, Yuan-Chen Guo+1 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Image Processing Techniques被引用 9

一句话总结

本文提出了一种新型方法——集成位置编码（IPE），通过在整像素区域上聚合位置编码而非仅在中心点进行，从而增强图像超分中多尺度隐式学习的效果。将该方法应用于LIIF框架后形成IPE-LIIF，在多种缩放因子下均实现了最先进性能，通过更准确捕捉空间频率信息，显著优于基线隐式模型，并可泛化至其他隐式架构。

ABSTRACT

Is the center position fully capable of representing a pixel? There is nothing wrong to represent pixels with their centers in a discrete image representation, but it makes more sense to consider each pixel as the aggregation of signals from a local area in an image super-resolution (SR) context. Despite the great capability of coordinate-based implicit representation in the field of arbitrary-scale image SR, this area's nature of pixels is not fully considered. To this end, we propose integrated positional encoding (IPE), extending traditional positional encoding by aggregating frequency information over the pixel area. We apply IPE to the state-of-the-art arbitrary-scale image super-resolution method: local implicit image function (LIIF), presenting IPE-LIIF. We show the effectiveness of IPE-LIIF by quantitative and qualitative evaluations, and further demonstrate the generalization ability of IPE to larger image scales and multiple implicit-based methods. Code will be released.

研究动机与目标

• 为解决隐式图像超分中基于中心坐标的表征方法在建模像素区域上光的物理汇聚时的局限性。
• 通过引入与尺度和位置相关的编码以反映每个像素的空间范围，提升任意尺度超分中高频细节的恢复能力。
• 开发一种可泛化的位置编码技术，以增强多种架构和缩放因子下的隐式神经网络。
• 证明将像素视为区域积分信号而非点采样，可获得更准确且更符合人类感知的超分结果。

提出的方法

• IPE通过在待预测像素区域上积分位置编码，取代标准的基于坐标的编码方式。
• 利用包含带宽L的正弦与余弦项的闭式解，在像素区域内整合频率分量。
• 将IPE与局部特征向量拼接后输入隐式解码器，替代LIIF中的标准坐标输入。
• 该方法与现有隐式模型（如Meta-SR和LIIF）保持兼容，支持即插即用式集成。
• 结合可学习的单元尺寸输入与IPE使用，可提升缩放泛化能力，但消融实验表明其在分布外缩放因子下可能降低性能。
• 在隐式解码器中引入跳跃连接，以增强特征传播，提升所有缩放因子下的性能。

实验结果

研究问题

• RQ1 在整像素区域上集成位置编码是否能提升任意尺度图像超分中的高频细节恢复能力？
• RQ2 将像素建模为区域积分信号而非点采样，是否能带来在多种缩放因子下的更好泛化性能？
• RQ3 IPE能否有效泛化至LIIF以外的多种基于隐式网络的超分架构？
• RQ4 在分布内与分布外缩放因子下，IPE与标准位置编码及单元解码相比，在性能与鲁棒性方面表现如何？

主要发现

• IPE-LIIF在DIV2K数据集上达到最先进性能，×2时PSNR为34.72，×3时为31.01，×4时为29.04，×6时为26.79，×18时为22.21，×30时为20.51。
• IPE-LIIF在所有缩放因子下均优于标准LIIF及使用普通位置编码的LIIF，PSNR与感知质量均保持一致提升。
• 消融实验表明，当IPE的带宽L超过10后，性能增益趋于饱和，高频频段的边际收益递减。
• 结合单元解码使用IPE时，在分布外缩放因子下性能下降，表明仅使用IPE可提供更鲁棒且泛化性更强的解决方案。
• 隐式解码器中引入跳跃连接显著提升了所有尺度下的性能，证实其在增强特征学习与网络深度灵活性方面的重要作用。
• IPE可良好泛化至其他隐式模型：IPE-MetaSR在×2时PSNR达34.51，×3时为30.86，×4时为28.94，×6时为26.74，×18时为23.71，优于原始Meta-SR及使用PE的Meta-SR。