[论文解读] Implicit Transformer Network for Screen Content Image Continuous Super-Resolution

Jingyu Yang, Sheng Shen+2 more|arXiv (Cornell University)|Dec 12, 2021

Advanced Image Processing Techniques参考文献 25被引用 32

一句话总结

它提出 ITSRN，一种基于隐式变换器的连续尺度超分辨率方法，用于屏幕内容图像，在锐利、高对比度内容上明显优于先前的连续和离散超分辨方法。

ABSTRACT

Nowadays, there is an explosive growth of screen contents due to the wide application of screen sharing, remote cooperation, and online education. To match the limited terminal bandwidth, high-resolution (HR) screen contents may be downsampled and compressed. At the receiver side, the super-resolution (SR) of low-resolution (LR) screen content images (SCIs) is highly demanded by the HR display or by the users to zoom in for detail observation. However, image SR methods mostly designed for natural images do not generalize well for SCIs due to the very different image characteristics as well as the requirement of SCI browsing at arbitrary scales. To this end, we propose a novel Implicit Transformer Super-Resolution Network (ITSRN) for SCISR. For high-quality continuous SR at arbitrary ratios, pixel values at query coordinates are inferred from image features at key coordinates by the proposed implicit transformer and an implicit position encoding scheme is proposed to aggregate similar neighboring pixel values to the query one. We construct benchmark SCI1K and SCI1K-compression datasets with LR and HR SCI pairs. Extensive experiments show that the proposed ITSRN significantly outperforms several competitive continuous and discrete SR methods for both compressed and uncompressed SCIs.

研究动机与目标

• 推动针对以文本和图形为主的屏幕内容的高质量 SCI SR，以处理任意放大因子。
• 解决自然图像超分方法在屏幕内容中的泛化较差问题，原因是边缘尖锐和对比度高。
• 开发一个连续尺度的 SR 框架，利用坐标（不仅仅像素值）来呈现高保真度的 SCI 结果。
• 创建 SCI1K 与 SCI1K-compression 基准测试，用于在不同降解条件下评估 SCI SR 方法。

提出的方法

• 引入隐式变换器，将高分辨率空间中的查询坐标映射到低分辨率空间的关键坐标和特征，用于像素值生成。
• 通过坐标差异和一个尺度令牌的非线性映射来预测变换权重，实现坐标到值的学习。
• 通过隐式位置编码增强模型，以聚合相邻的相似像素值并细化预测。
• 使用卷积神经网络骨干（基于 RDN）提取特征，随后进行特征展开以增大感受野，再用多层感知机计算变换权重。
• 将坐标归一化到 [-1,1] 区间，以稳定学习并实现连续放大。
• 引入局部 3x3 邻域编码（隐式位置编码），通过 MLP 学习以细化粗糙 SR 输出。

实验结果

研究问题

• RQ1 在屏幕内容图像上，基于坐标的隐式变换器能否超越现有的连续 SR 方法（LIIF、MetaSR）？
• RQ2 引入隐式位置编码是否在任意尺度下提升 SCI SR 的边缘保留和边缘清晰度？
• RQ3 尺度令牌和 IPE 如何在训练内外放大因子下影响性能？
• RQ4 在压缩和未压缩的 SCI 数据中，使用可学习与固定邻居权重的隐式位置编码的影响是？

主要发现

• ITSRN 在多个尺度上持续优于连续 SR 方法（MetaSR、LIIF）和离散 SR 基线（RDN、RCAN），在 SCI1K 与 SCI1K-compression 上均有优势。
• 消融实验表明尺度令牌和隐式位置编码贡献显著增益（在 x4 时约提升 0.39 dB PSNR；在训练外的尺度约提升 0.06 dB）。
• 隐式位置编码中的可学习权重优于固定距离，尤其在 JPEG 压缩输入上表现更佳。
• 在较大放大比（x6–x10）下，通过广泛尺度的训练可以提升性能。
• 与竞争方法相比，ITSRN 在细字符的边缘重建上表现更好，尤其在高放大倍数时。